IL-0140 Google Cloud · 2022-06-14kubernetesgcp
us-central1 의 GKE API 가 3시간 19분 동안 지연과 오류를 냈다. 장애는 6월 14일 03:03 에 시작해 06:22 에 끝났고, 시각은 모두 US/Pacific 이다. Google 은 06:17 에 모든 사용자의 문제가 해결됐다고 알렸다.
예비 분석에 따르면 원인은 예상하지 못한 백엔드 트래픽 증가였다. 실패한 요청을 클라이언트들이 다시 시도하면서 부하가 더 커졌다. Google 은 늘어난 트래픽을 감당하도록 GKE 컨트롤 플레인을 증설해 문제를 완화했다.
2022년 6월 14일 03:03 US/Pacific 부터 us-central1 의 GKE API 호출이 느려지고 오류를 냈다. gcloud 와 Google Cloud Console 에서 보내는 GKE API 호출이 모두 영향을 받았다.
클러스터 안의 워크로드는 계속 돌았다. 그러나 고객은 클러스터 상태 확인, 업그레이드 실행, 워크로드 조회, 클러스터와 노드 풀의 생성과 삭제 같은 작업을 하지 못할 수 있었다. 상태 페이지는 다시 시도하면 성공할 수도 있다고 안내했고, 우회 방법은 없다고 했다. 다른 리전을 쓸 수 있는 고객에게는 그쪽을 쓰라고 권했다.
영향은 다른 서비스로도 이어졌다. Cloud Data Fusion 에서는 us-central1 의 인스턴스 생성과 삭제가 실패했다. Cloud Logging 에서는 us-central1 GKE 클러스터의 추천 검색이 느려졌다.
원인 ? 용량 한계
–
–
실패한 요청을 클라이언트가 재시도하면 갑자기 늘어난 트래픽이 더 커진다. 관리형 컨트롤 플레인이 느려져도 클러스터 워크로드는 계속 돌지만, 클러스터를 조회하거나 바꾸는 작업은 막힌다.
–