Pinterest 如何揪出 Kubernetes 集群里的"CPU 僵尸"

# 在节点 bootstrap 或 user-data 脚本中加入
systemctl stop ecs-agent || true
systemctl disable ecs-agent || true

# 可选：彻底卸载，避免残留
yum remove -y ecs-agent || apt-get remove -y ecs-agent || true

#!/bin/bash
# check_cgroup_leak.sh — 检测 memory cgroup 泄漏
# 用法: 在目标节点上执行，或在 debug pod 中挂载 node rootfs 后执行

CGROUP_ROOT="/sys/fs/cgroup/memory"

# 统计 memory cgroup 目录数量
total_dirs=$(find "$CGROUP_ROOT" -type d | wc -l)
echo "memory cgroup 目录总数: $total_dirs"

# 找出没有活跃进程的僵尸 cgroup（目录存在但 cgroup.procs 为空）
zombie_count=0
zombie_samples=""
while IFS= read -r dir; do
    procs=$(cat "$dir/cgroup.procs" 2>/dev/null | wc -l)
    if [ "$procs" -eq 0 ]; then
        zombie_count=$((zombie_count + 1))
        # 只记录前 5 个样本
        if [ "$zombie_count" -le 5 ]; then
            zombie_samples="$zombie_samples\n  $dir"
        fi
    fi
done < <(find "$CGROUP_ROOT" -mindepth 1 -type d)

echo "僵尸 cgroup 数量（无活跃进程）: $zombie_count"
if [ "$zombie_count" -gt 0 ]; then
    echo -e "僵尸 cgroup 样本:$zombie_samples"
fi

# 阈值警告：超过 500 个僵尸 cgroup 就值得深入排查
if [ "$zombie_count" -gt 500 ]; then
    echo "⚠️  僵尸 cgroup 超过 500，可能影响 CPU 调度性能，建议排查来源"
fi

#!/bin/bash
# check_legacy_services.sh — 扫描节点上与当前 K8s 工作负载无关的服务

# 常见的遗留调度器 Agent 列表，按需增补
LEGACY_SERVICES=(
    "ecs-agent"          # Amazon ECS
    "mesos-agent"        # Mesos
    "nomad-agent"        # HashiCorp Nomad
    "docker"             # 旧版 Docker daemon（K8s 1.24+ 已弃用 dockershim）
)

echo "=== 检查遗留服务 ==="
for svc in "${LEGACY_SERVICES[@]}"; do
    if systemctl is-active "$svc" 2>/dev/null | grep -q "active"; then
        echo "⚠️  $svc 正在运行但可能不再需要"
    elif systemctl is-enabled "$svc" 2>/dev/null | grep -q "enabled"; then
        echo "⚠️  $svc 已启用但未运行，仍可能在节点重启后启动"
    fi
done

echo ""
echo "=== 当前活跃的 systemd 服务（含 agent/daemon 关键词） ==="
systemctl list-units --type=service --state=active | grep -iE "agent|daemon" | head -20

# EKS managed node group user-data snippet (MIME multipart format)
cat <<'CLEANUP' > /etc/bootstrap_cleanup.sh
#!/bin/bash
set -e

# 禁用 ECS Agent（EKS AMI 默认包含）
systemctl stop ecs-agent || true
systemctl disable ecs-agent || true

# 清理残留 cgroup（重启后内核会回收，这里做一次即时清理）
# 注意：只清理 kubepods 外的空 cgroup
find /sys/fs/cgroup/memory -mindepth 2 -type d -not -path "/sys/fs/cgroup/memory/kubepods*" | while read -r dir; do
    procs=$(cat "$dir/cgroup.procs" 2>/dev/null | wc -l)
    if [ "$procs" -eq 0 ]; then
        # 尝试删除空 cgroup（内核允许时才会成功）
        rmdir "$dir" 2>/dev/null || true
    fi
done

echo "Cleanup done at $(date)" >> /var/log/node_cleanup.log
CLEANUP

chmod +x /etc/bootstrap_cleanup.sh
# 在节点启动后异步执行，避免阻塞 kubelet 启动
nohup /etc/bootstrap_cleanup.sh &