IL-0163 Linode · 2023-05-31kubernetes
2023년 5월 31일 16시 UTC 무렵 Linode 가 API 에 넣은 변경 때문에 LKE 클러스터가 잘못 스케일링됐다. 자동 테스트에 빈틈이 있어 이 경우를 잡지 못했고, 변경은 그대로 운영에 나갔다. 그 결과 일부 고객 클러스터의 크기가 예상하지 못한 방식으로 바뀌었고, 고객 계정에 과금되는 자원이 늘었다. 영향은 US-East 의 Newark 부터 AP-Southeast 의 Sydney 까지 LKE 리전 11곳에 걸쳤다.
Linode 는 6월 1일 05시 07분 UTC 에 문제를 공지하고, 잘못 만들어진 노드로 생긴 초과 요금은 원인을 해결한 뒤 크레딧으로 보상하겠다고 밝혔다. 08시 56분 원인을 찾았고 09시 40분 핫픽스를 적용했다. 10시 20분 수정이 배포됐다고 공지한 뒤 지켜봤다. 늘어난 워커 노드는 고객 워크로드에 영향을 주지 않으려고 그대로 두었고, 영향받은 고객에게는 티켓으로 요금 조정과 추가 조치 방법을 알렸다. 21시 23분 버그가 완전히 고쳐졌다며 장애를 닫았다.
2023년 5월 31일 16시 UTC 무렵부터 일부 고객의 LKE 클러스터 크기가 예상하지 못한 방식으로 바뀌었다. 클러스터 크기를 조정하면 잘못된 수의 노드가 만들어졌고, 고객 계정에 과금되는 자원이 추가됐다.
클러스터 동작 자체에는 영향이 없었다. 영향받은 고객의 LKE 노드 풀은 잘못 스케일링됐고, 잘못 배포된 노드에 요금이 쌓였다.
Linode 는 6월 1일 05시 07분 UTC 상태 페이지에 이 문제를 알리고, 고칠 때까지 가능하면 클러스터 크기 조정을 피하라고 안내했다. 08시 56분 원인을 찾았다.
증상 ? 오토스케일러 오동작
Linode 는 6월 1일 05시 07분 UTC 에 LKE 클러스터 크기를 조정하면 잘못된 수의 노드가 생기는 문제를 알고 있다고 공지했다. 변경이 나간 지 약 13시간 뒤였다.
자동 테스트가 잡지 못한 API 변경 하나가 고객 클러스터의 노드 수를 바꾸고 요금까지 늘렸다. Linode 는 테스트를 점검하고 배포 전 체크리스트를 늘리는 것으로 대응했다. 잘못 늘어난 노드라도 지우면 고객 워크로드에 영향을 줄 수 있어서, Linode 는 노드를 지우지 않고 요금 조정으로 보정했다.
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀