IL-0019 UK Ministry of Justice · 2023-09-18kubernetesaws
새 모듈 버전이 런치 템플릿을 바꿔 새 노드의 루트 볼륨이 100GB 가 아니라 20GB 가 됐고, 이미지 풀이 그걸 채웠어요. 워크로드를 옛 노드 그룹으로 되돌리고, 다음 날 런치 템플릿 차이를 검토해 고친 템플릿을 적용하고 다시 드레인했어요. 두 번째 드레인에서 다른 한계가 드러났어요. 옛 노드가 IP 프리픽스를 놓아줄 때까지 파드가 주소를 못 받았어요. 복구에 네 시간쯤, 사건 종료까지는 하루 반이 걸렸어요. 후속 조치는 플랜에서 런치 템플릿 변경 확인, 실제 크기의 이미지 풀 테스트, 노드 수에 따른 CoreDNS 확장, 프리픽스 부족 경보예요.
루트 볼륨 경보가 울렸고 사용자가 디스크 공간 부족으로 이미지 풀이 실패한다고 알렸어요. 업그레이드 때문에 노드를 드레인하는 동안 많은 파드가 Evicted 나 알 수 없는 컨테이너 상태가 됐어요.
루트 볼륨 사용률 경보와 이미지 풀의 디스크 공간 오류를 알린 사용자 보고예요.
모듈 버전 하나 올린 것이 조용히 런치 템플릿을 바꿀 수 있어서, 업그레이드 전에 플랜 차이를 확인해야 해요. 노드를 많이 드레인하면 주소 부족과 DNS 용량 틈이 드러나니 따로 모니터링해야 해요.
같은 원인 · 공통 노드 풀, AWS VPC CNI
IL-0017 편집자가 연결함