IL-0157 Linode · 2025-03-05kubernetes
LKE 는 Akamai 의 관리형 Kubernetes 서비스인 Linode Kubernetes Engine 이다. 2025-03-05 01:00 UTC 무렵부터 LKE 에서 IP ACL 을 켠 클러스터에 새 노드가 붙지 못했다. 새 노드가 붙지 못하니 autoscaler 기능도 제대로 동작하지 않았고, 여러 리전의 약 20~25개 클러스터가 영향을 받았다. Akamai 가 조사해 보니 문제는 가장 최근 소프트웨어 릴리스 배포에서 시작됐다.
게이트웨이 파드 재시작은 잠깐만 효과가 있었다. 추가 분석에서 근본 원인이 소프트웨어 결함으로 밝혀졌고, Akamai 는 릴리스를 롤백했다. 영향받은 모든 클러스터에서 롤백은 15:00 UTC 무렵 끝났다.
상태 페이지에는 06:49 UTC 에 조사 중이라는 공지가 올라왔다. 08:58 에는 문제를 바로잡고 지켜보는 중이라는 공지가, 15:12 에는 해결 공지가 올라왔다. 사후 보고서는 03-12 에 게시됐고 조사가 계속되고 있다고 밝혔다.
2025-03-05 01:00 UTC 무렵부터 일부 고객의 LKE 클러스터가 IP ACL 을 켠 상태에서 오토스케일링에 실패했고, 서비스 장애로 이어졌다.
새 노드가 IP ACL 을 켠 LKE 클러스터에 붙지 못해 autoscaler 가 제대로 동작하지 못했다. 영향받은 클러스터는 여러 리전에 걸쳐 약 20~25개였고, 상태 페이지는 US-IAD, US-ORD, US-SEA, IN-MAA 리전을 영향 범위로 적었다.
Akamai 는 임시 조치로 게이트웨이 파드를 재시작했지만 효과는 잠깐뿐이었다.
원인 ? 소프트웨어 결함
고객 쪽 문제는 01:00 UTC 무렵 시작됐고, 상태 페이지의 첫 조사 공지는 06:49 UTC 에 올라왔다.
결함은 IP ACL 을 켠 클러스터에서만 문제를 일으켰고, autoscaler 가 노드를 추가하려 할 때 드러났다. 게이트웨이 파드 재시작은 효과가 오래가지 않았고, 릴리스를 롤백하자 장애가 끝났다.
같은 원인 · 공통 클러스터 오토스케일러