IL-0132 Google Cloud · 2022-06-02gcpai-infra
2022-06-02 10:10 부터 14:30 US/Pacific 까지 4시간 20분 동안 Vertex AI Online Prediction 의 오류율이 리전마다 30% 에서 100% 까지 올라갔다. 예비 분석에 따르면 잘못된 리소스 정리 작업이 Vertex 예측 엔드포인트를 전역에서 삭제된 것으로 표시했다. 그 결과 고객이 엔드포인트에 배포해 둔 기존 모델이 모두 내려갔고, 배포된 모델 목록은 비어 보였으며, Predict 요청과 Explain 요청이 실패했다. 모델을 다시 배포하려 해도 할당량 오류가 났다.
Google 은 13:58 부터 상태 페이지에 진행 상황을 올렸다. 14:06 에 엔지니어링 팀이 완화 작업을 하고 있다고 알렸고, 14:51 에는 일부 해결됐다고 했다. 엔드포인트가 복구되면서 서비스는 완전히 회복됐다. 상태 페이지는 15:21 기준으로 영향받은 모든 사용자에게 해결됐다고 공지했고, 다음 날 짧은 장애 보고서를 올렸다.
2022-06-02 10:10 US/Pacific 부터 Vertex AI Online Prediction 의 오류율이 올라갔다. 리전과 사용 패턴에 따라 요청의 30% 에서 100% 가 실패했다.
고객 쪽에서는 Vertex AI Endpoints 에 배포해 둔 기존 모델이 모두 내려가 있었다. 엔드포인트에 배포된 모델 목록을 조회하면 빈 목록이 나왔고, Predict 요청과 Explain 요청은 런타임 예외와 일반 오류로 실패했다. 모델을 다시 배포하려 하면 할당량 오류가 났다.
Google 은 13:58 에 상태 페이지에 첫 공지를 올리며 문제가 10:20 부터 시작됐다고 적었고, 쓸 수 있는 우회 방법은 없다고 했다. 영향받은 리전은 asia-east1, asia-east2, asia-northeast1, asia-northeast3, asia-south1, asia-southeast1, australia-southeast1, europe-west1, europe-west2, europe-west3, europe-west4, europe-west6, northamerica-northeast1, northamerica-northeast2, us-central1, us-east1, us-east4, us-west1, us-west2 의 19곳이었다.
Google 은 13:58 US/Pacific 에 상태 페이지에 첫 공지를 올렸고, 이 공지는 문제가 10:20 US/Pacific 에 시작됐다고 적었다. 나중에 나온 짧은 장애 보고서는 시작 시각을 10:10 으로 적었다.
–
–
같은 원인 · 공통 모델 요청 라우팅
같은 원인 · 공통 모델 요청 라우팅