IL-0130 Google Cloud · 2024-10-22gcpai-infrakubernetes
Google Cloud 의 Vertex AI Online Prediction 에서 디스크가 100GB 넘게 필요한 대형 모델의 Vertex Model Garden 배포가 대부분 리전에서 실패했다. 기간은 2024년 10월 22일 14:08 부터 11월 4일 20:30 US/Pacific 까지로, 최대 13일 6시간 22분이었다. 고객은 배포할 때 "Model server never became ready" 오류를 받았다.
예비 분석 결과 원인은 최근 변경과 함께 들어간 내부 스토리지 프로비저닝 설정 오류였다. Google 엔지니어들은 문제를 일으킨 설정 변경을 롤백해 영향을 없앴고, 11월 4일 20:28 US/Pacific 에 모든 고객의 문제가 해결됐다. 장애 기간 동안 고객은 영향을 받지 않은 리전에 배포하는 방법으로 피해 갈 수 있었다.
2024년 10월 22일 14:08 US/Pacific 부터 Vertex AI Online Prediction 에서 대형 모델을 배포하던 고객은 "Model server never became ready" 오류를 받았다. 디스크가 100GB 넘게 필요한 모델이 대상이었다.
장애는 asia-southeast1, europe-west4, us-central1, us-east1, us-east4 를 뺀 대부분 리전에서 났다. 상태 페이지는 11월 4일에야 문제를 알렸다. 첫 게시는 GKE Autopilot 클러스터로 가는 100GB 넘는 Vertex Model Garden 배포가 실패할 수 있다고 알렸고, 뒤이은 게시는 L4 GPU 를 쓰는 대형 배포가 실패할 수 있다고 적었다. 그때까지는 우회 방법이 없다고 안내했다.
증상 ? 배포 실패
원인 ? 설정 변경
장애는 2024년 10월 22일 14:08 에 시작됐지만 상태 페이지에 처음 올라온 것은 약 13일 뒤인 11월 4일 13:17 US/Pacific 이었다. 첫 게시는 GKE Autopilot 클러스터로 가는 100GB 넘는 Vertex Model Garden 배포가 실패할 수 있다고 적었다.
–
대형 모델 배포처럼 일부 조건에서만 실패하는 설정 오류가 대부분 리전에서 13일 넘게 이어졌다. 장애는 13일 가까이 지난 뒤에야 상태 페이지에 올라왔고, 원인이 된 설정 변경을 롤백하자 해결됐다.
–