IL-0005 OpenAI · 2024-12-11kubernetes
텔레메트리 서비스 설정 때문에 노드마다 쿠버네티스 API 를 불렀는데, 그 비용이 클러스터 크기에 비례해 커졌어요. 가장 큰 클러스터에서 API 서버가 감당하지 못했어요. 서비스 디스커버리는 컨트롤 플레인에 기댄 DNS 라서, 노드의 DNS 캐시가 만료되자 서비스들이 서로를 잃었어요. 스테이징에서는 규모가 작아 문제가 안 보였고, 캐시 덕에 장애가 늦게 드러나 배포가 끝까지 진행됐어요. 과부하된 컨트롤 플레인이 운영자까지 막아서 복구가 느렸어요. 클러스터를 줄이고, 관리 API 접근을 막고, API 서버를 늘리고, 서비스를 제거해서 네 시간 조금 넘어 복구했어요.
경보가 울리고 몇 분 안에 모든 제품이 느려지거나 멈췄어요. 가장 큰 클러스터들의 API 서버가 응답을 멈췄고, 캐시된 DNS 레코드가 만료되자 서비스들이 서로를 찾지 못했어요.
원인 ? 설정 변경
기존 모니터링이 고객 영향 몇 분 전에 경보를 냈어요.
테스트가 클러스터 규모에서만 나타나는 효과를 놓쳤어요. DNS 캐시가 배포가 끝날 때까지 장애를 숨겼고, 데이터 플레인은 생각보다 컨트롤 플레인에서 독립적이지 않았어요.
같은 원인 · 공통 쿠버네티스 API 서버