IL-0082 RebelMouse · 2025-05-19kubernetesawsnetworking
2025년 5월 19일 13:15 UTC 에 RebelMouse 는 보안 패치를 적용하려고 EKS 노드를 정기적으로 교체하기 시작했다. 이 과정에서 계획된 EC2 인스턴스 종료가 자동으로 일어나 CoreDNS 파드 하나가 종료됐다. CoreDNS 는 쿠버네티스 클러스터 안의 서비스가 쓰는 주 DNS 서버다. 남은 CoreDNS 파드들은 늘어난 부하를 감당하지 못했고, DNS 조회에서 타임아웃이 나기 시작했다.
CoreDNS 에는 평균 부하의 최소 3배에 해당하는 CPU 와 메모리를 할당해 여유 있게 배포해 두었다. 그런데도 파드 하나가 빠지면서 부하가 갑자기 몰리자 남은 파드에서 DNS 조회가 병목이 됐다. 사용량이 가장 많은 시간대였기 때문에 영향이 컸다.
팀은 종료된 CoreDNS 파드를 새 EC2 인스턴스로 다시 스케줄하고 CoreDNS 디플로이먼트의 레플리카 수를 늘렸다. 핵심 서비스는 13:50 UTC 에 돌아왔고 장애는 14:13 UTC 에 끝났다.
2025년 5월 19일 13:42 UTC 에 RebelMouse 모니터링 도구가 오류율 상승과 서비스 성능 저하를 잡아냈다.
CoreDNS 의 성능이 크게 떨어져 DNS 조회 지연이 늘고 타임아웃이 잦아졌다. 여러 서비스와 애플리케이션이 영향을 받아 서비스 가용성과 사용자 경험이 나빠졌다. 사용량이 가장 많은 시간대에 벌어진 일이라 플랫폼을 쓸 수 없다는 신고가 곳곳에서 들어왔다.
RebelMouse 는 그보다 27분 앞선 13:15 UTC 에 보안 패치를 적용하려고 정기 EKS 노드 교체를 시작해 둔 상태였다. 기술팀은 13:44 UTC 에 조사를 시작했다.
13:42 UTC 에 RebelMouse 모니터링 도구가 오류율 상승과 서비스 성능 저하를 잡아냈다. 노드 교체를 시작한 지 27분 뒤였다. 기술팀은 2분 뒤인 13:44 UTC 에 조사를 시작했다.
–
같은 원인 · 공통 노드 풀, CoreDNS
같은 원인 · 공통 노드 풀, CoreDNS
같은 원인 · 공통 노드 풀, CoreDNS
같은 원인 · 공통 노드 풀
같은 원인 · 공통 CoreDNS
같은 원인 · 공통 노드 풀
같은 원인 · 공통 CoreDNS
같은 원인 · 공통 CoreDNS
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀