IL-0001 Zalando · 2019-01-07kubernetesaws
CoreDNS 파드의 메모리 한도가 예전 사용량 기준으로 100Mi 였어요. DNS 조회가 몰리자 한도를 넘어 OOM 으로 죽었고, 부하가 계속되니 살아나자마자 다시 죽기를 반복했어요. 한도를 자동으로 올려 주는 장치는 없었어요. 애플리케이션 쪽 사정도 나빴어요. Node.js 리졸버가 캐시를 안 했고, 기본값인 ndots 5 때문에 조회 횟수가 몇 배로 늘었고, 연결이 짧게 끊겼다 이어졌어요. 당직자는 전화로 알게 됐어요. 호출을 보내 줄 경보가 죽은 클러스터 안에 있었거든요. CoreDNS 의 요청량과 한도를 손으로 2000Mi 로 올리자 장애가 끝났어요.
상품 페이지가 한 시간 넘게 오류를 냈어요. 클러스터 안의 DNS 조회가 전부 실패했고, 클러스터 안에 있던 모니터링도 같이 죽어서 아무도 자동으로 호출되지 않았어요.
원인 ? 용량 한계
집계 계층 당직자가 쿠버네티스 당직자에게 전화했어요. 자동 호출은 클러스터 안 모니터링에 기대고 있었는데 그게 죽어 있었어요.
클러스터 안 DNS 가 너무 약했어요. 애플리케이션 하나가 모두의 DNS 를 무너뜨릴 수 있었어요. 클러스터 안에서 도는 모니터링은 클러스터와 함께 죽어요.
같은 원인 · 공통 컨테이너 메모리 한도
IL-0005 편집자가 연결함