IL-0164 Linode · 2022-06-15kubernetes

이전 릴리스의 변경이 빠진 LKE 운영 업데이트 때문에 클러스터 업그레이드와 노드 추가가 오류 없이 실패했다

2022년 6월 15일 18:30 UTC 무렵 Linode 는 LKE 운영 환경에 증분 업데이트를 배포했다. 이 업데이트에는 이전 릴리스의 변경이 빠져 있었고, 그 때문에 클러스터를 업그레이드하거나 노드를 추가하려던 고객의 작업이 아무 오류 없이 실패했다. 20:26 UTC 에 원인을 찾았다. Linode 는 빠진 변경을 다음 업데이트에 넣어 21:00 UTC 무렵 배포했고, 이 업데이트로 문제가 풀렸다. 그 뒤 업데이트 절차에 단계와 자동화를 더했다.

심각도: –
영향 범위: LKE customers trying to upgrade clusters or add nodes
영향 사용자: –
지역: LKE in US-East (Newark), US-Central (Dallas), US-West (Fremont), US-Southeast (Atlanta), CA-Central (Toronto), EU-West (London), EU-Central (Frankfurt), AP-South (Singapore), AP-Northeast (Tokyo 2), AP-West (Mumbai), AP-Southeast (Sydney)
감지까지: 1h24m
복구까지: 2h30m

증상

2022년 6월 15일 18:30 UTC 무렵부터 LKE 고객이 클러스터를 업그레이드하거나 노드를 추가하려 하면 작업이 아무 오류 없이 실패했다. 19:54 UTC 에 상태 페이지에 LKE 문제를 조사 중이라는 공지가 올라왔다. 영향을 받은 곳은 US-East 뉴어크, US-Central 댈러스, US-West 프리몬트, US-Southeast 애틀랜타, CA-Central 토론토, EU-West 런던, EU-Central 프랑크푸르트, AP-South 싱가포르, AP-Northeast 도쿄 2, AP-West 뭄바이, AP-Southeast 시드니 리전의 LKE 였다.

증상 ? 업그레이드 정체

원인

원인 ? 배포 결함

구성 요소 ?노드 풀

기여 요인 ?–

촉발: 6월 15일 18:30 UTC 무렵 LKE 운영 환경에 증분 업데이트를 배포했고, 이 업데이트에는 이전 릴리스의 변경이 빠져 있었다.

감지

상태 페이지 첫 공지는 업데이트 배포 약 1시간 24분 뒤인 19:54 UTC 에 올라왔다.

조치

빠진 변경을 다음 업데이트에 넣어 21:00 UTC 무렵 배포했다.

후속 조치

같은 문제를 막으려고 업데이트 절차에 단계와 자동화를 더했다. 완료

교훈

–

출처

https://status.linode.com/incidents/x14hy9s656ww · official-status

증상

원인

감지

조치

후속 조치

교훈

출처

관련 사례