IL-0020 UK Ministry of Justice · 2025-03-18kubernetesaws
옛 노드가 cordon 되자 디스케줄러가 그 위의 파드를 한꺼번에 옮기려 했는데, 새 노드 일부가 멈춰 있어서 쫓겨난 파드가 갈 곳이 없었어요. cordon 을 풀고 멈춘 노드를 지우자 한 시간 반 안에 파드가 돌아왔어요. 여유를 위해 20 노드짜리 그룹을 손으로 더하고 옛 노드를 천천히 드레인해서 오후 늦게 업그레이드를 마쳤고, 정리 뒤 이틀 만에 사건을 닫았어요. 디스케줄러가 cordon 된 노드에 왜 그렇게 동작하는지는 아직 알아보는 중이에요.
운영과 비운영 환경 모두에서 파드가 종료된 뒤 돌아오지 않는다고 사용자들이 알렸고, 동시에 인프라 경보가 울렸어요. 운영 서비스 여럿이 내려갔어요.
자동 인프라 경보와 사용자 보고예요.
비상 용량을 빨리 더하는 문서화된 방법과, 노드 수가 어긋나거나 Pending 파드가 급증할 때 울리는 경보가 필요해요. 그래야 사용자가 알리기 전에 잡을 수 있어요.
–