IL-0002 Zalando · 2019-06-11kubernetesaws
kubelet 은 API 서버에 요청을 보낼 때 초당 횟수 한도를 두는데 기본값이 아주 낮아요. 노드 하나에서 빌더 파드가 빠르게 만들어지고 지워지니 kubelet 이 파드 상태를 제때 갱신하지 못했어요. 자격 증명 중개자 kube2iam 은 kubelet 이 적는 파드 IP 가 있어야 동작해서, 자격 증명 요청이 실패하고 빌드가 죽었어요. 클러스터를 키워 파드를 여러 노드로 흩자 장애가 끝났어요. 영구 조치로 kubelet QPS 한도를 기본값 5 에서 50 으로 전 클러스터에 올렸어요.
CI 빌드가 한 시간 가까이 타임아웃으로 실패했어요. 빌더 파드가 AWS IAM 자격 증명을 받지 못했고, API 에 보이는 파드 상태가 노드에서 실제로 도는 것보다 늦었어요.
원인 ? 용량 한계
알 수 없음
보고서에 조치 외의 교훈은 없어요.
–