IL-0016 UK Ministry of Justice · 2023-07-25kubernetesawsobservability
Prometheus 인스턴스가 예전 네임스페이스와 규칙 수에 맞춘 크기라 노드를 넘어서 자랐어요. 노드 메모리가 89% 쯤에 닿자 파드가 OOM 으로 죽었고 노드가 NotReady 가 됐고 Prometheus 가 다른 노드로 옮겨졌어요. 모니터링 노드를 드레인하고 더 큰 인스턴스 타입으로 바꾸고 컨테이너 메모리 한도를 두 번에 걸쳐 올렸어요. 복구에 두 시간이 안 걸렸어요. 후속 조치는 노드 메모리가 차오를 때와 파드 하나가 노드 메모리 대부분을 쓸 때 울리는 경보예요.
운영 Prometheus 의 외부 헬스 체크가 실패해 호출이 왔어요. Prometheus 파드가 메모리 때문에 죽었고 노드가 NotReady 가 됐어요.
원인 ? 용량 한계
Pingdom 헬스 체크가 실패해 PagerDuty 높은 우선순위 경보가 울렸어요.
보고서에 경보 조치 외의 교훈은 없어요.
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 컨테이너 메모리 한도
IL-0001 편집자가 연결함