IL-0149 Microsoft Azure · 2019-09-28kubernetesazure
2019-09-28 07:20 UTC 부터 Virtual Machine Scale Sets 를 쓰는 AKS 클러스터에서 업그레이드가 "The platform image 'microsoft-aks:aks:aks-ubuntu-1604-201909:2019.08.21' is not available." 오류로 실패했다. 이 시각 이전에 VMSS 로 만든 클러스터는 모든 리전에서 영향을 받았다. 예비 원인 분석에 따르면 최근 서비스 업데이트가 백엔드 서비스의 인스턴스를 비정상 상태로 만들었고, 그 때문에 요청이 완료되지 못했다.
AKS 엔지니어링 팀은 2019-10-03 에 GitHub 이슈로 이를 알리며, 문제가 풀릴 때까지 해당 클러스터를 업그레이드하지 말라고 권했다. 직접 완화하려는 고객에게는 az vmss update 로 VMSS 이미지 참조의 version 을 "2019.09.25" 로, Sku 를 "aks-ubuntu-1604-201909" 로 바꾼 뒤 같은 업그레이드 명령을 다시 실행하라고 안내했다. 직접 해결하지 못한 고객은 Azure 지원 요청을 열면 지원팀과 당직 엔지니어가 클러스터를 고쳐 주기로 했다.
AKS 팀과 VMSS 팀은 영향받은 클러스터를 손으로 완화하면서 장기 수정을 담은 릴리스를 리전마다 배포했다. 10월 4일 기준으로 14개 리전에 패치가 들어갔고, 10월 15일 모든 리전의 패치가 끝나 이슈가 닫혔다.
2019-09-28 07:20 UTC 부터 Virtual Machine Scale Sets 위의 AKS 클러스터에서 클러스터 업그레이드를 시도하면 실패 알림이 왔다.
업그레이드 중 나온 오류 문구는 "The platform image 'microsoft-aks:aks:aks-ubuntu-1604-201909:2019.08.21' is not available. Verify that all fields in the storage profile are correct." 였다. 이 시각 이전에 VMSS 로 만든 클러스터는 모든 리전에서 영향을 받았고, 손으로 개입하지 않으면 업그레이드할 수 없었다.
증상 ? 업그레이드 정체
원인 ? 배포 결함
고객은 클러스터를 업그레이드하려 할 때 실패 알림을 받았다.
–
–
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀