IL-0008 Jetstack · 2019-09-05 (게시일)kubernetesgcp
Open Policy Agent 검증 웹훅이 모든 네임스페이스와 모든 리소스에 걸려 있었고, 그 백엔드가 응답하지 않았어요. 업그레이드 중 두 번째 마스터가 뜰 때 API 서버의 시작 훅이 그 웹훅을 거쳐 ConfigMap 을 써야 했는데 실패했고, 헬스 체크에 떨어져 재시작을 반복하면서 업그레이드가 멈췄어요. API 서버가 흔들리니 kubelet 이 상태를 보고하지 못했고, 노드 자동 복구가 노드를 계속 다시 만들었어요. API 접근이 되는 틈에 웹훅을 지우자 클러스터가 돌아왔어요. 그 뒤 웹훅을 해당 네임스페이스와 리소스로 좁히고 에이전트에 생존 프로브를 달았어요.
Terraform 으로 돌린 컨트롤 플레인 업그레이드가 20분 안에 끝나지 않았고, 다시 돌리니 API 서버가 비정상이라고 나왔어요. API 서버가 간헐적으로 타임아웃을 내서 아무도 배포하지 못했고, 이어서 모든 노드가 반복해서 지워지고 다시 만들어지며 모든 테넌트가 멈췄어요.
원인 ? 설정 변경
Terraform 파이프라인이 타임아웃됐고, 다시 돌리자 API 서버 비정상 오류가 명시적으로 나왔어요. 사건 순서는 제공자 지원팀과 함께 재구성했어요.
API 서버 지연에 경보가 있었다면 웹훅이 들어가자마자 쓰기가 느려지는 것이 보였을 거예요. 어드미션 컨트롤러를 포함한 모든 워크로드에 프로브가 필요해요. 튜토리얼대로 설치하느라 프로브가 이미 들어 있는 차트를 건너뛰었어요.
같은 원인 · 공통 쿠버네티스 API 서버