IL-0161 Linode · 2024-04-22kubernetes
2024년 4월 22일 14:05 UTC 쯤 Linode 팀은 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않는 것을 발견했다. 새로 만든 클러스터에 노드 풀이 없거나 노드 수가 틀렸고, 고객은 Cloud Manager 에서 클러스터를 만든 뒤 타임아웃 오류를 받았다. 같은 날 17:32 UTC 에 팀은 문제를 토론토 데이터센터의 특정 인프라 구역으로 좁혔다.
4월 23일 15:03 UTC 에 문제가 된 인프라를 새 LKE 클러스터 프로비저닝에서 빼고 원인 조사를 이어 갔다. 조사해 보니 앞서 배포한 API 업데이트가 의도대로 동작하지 않아 새 클러스터를 프로비저닝할 때 타임아웃이 나고 있었다. 4월 25일 16:45 UTC 쯤 수정을 적용했고, 18:05 UTC 에 새 클러스터 생성이 완전히 돌아온 것을 확인했다. 수정 뒤 빼 두었던 인프라를 다시 넣었고, 4월 26일 17:09 UTC 에 장애를 해결로 닫았다.
2024년 4월 22일 14:05 UTC 쯤 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않았다.
고객이 Cloud Manager 에서 새 LKE 클러스터를 만들면 타임아웃이 났다. Cloud Manager 를 새로 고치면 클러스터는 만들어져 있었지만 노드 풀이 없었다. 노드 풀에 노드 수가 잘못 들어가거나 노드가 아예 없는 클러스터도 있었다.
오류는 토론토 데이터센터의 특정 백엔드 자원에서 훨씬 자주 났다. 다른 데이터센터에서도 나타났지만 빈도는 매우 낮았다.
2024년 4월 22일 14:05 UTC 쯤 Linode 팀이 토론토 데이터센터에서 새 LKE 클러스터가 프로비저닝되지 않는 것을 알아채고 조사를 시작했다.
–
원인은 오류가 드러난 인프라가 아니라 앞서 배포한 API 업데이트에 있었다. 그런데도 실패는 대부분 한 데이터센터의 백엔드 자원 하나에 몰렸다. 그 자원을 새 클러스터 프로비저닝에서 빼서, 근본 원인을 찾는 데 걸린 사흘 동안 고객 영향을 줄였다.
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀