IL-0131 Google Cloud · 2024-06-12gcpai-infra
2024년 6월 8일부터 새로운 형태의 사용자 요청이 GenerateContent API 를 거쳐 Vertex Serving Prediction API 서버에 간헐적인 세그멘테이션 폴트를 일으켰다. 세그폴트가 난 서버는 재시작했고, 그동안 로드밸런서가 요청을 다른 정상 서버로 보냈다. 이때까지는 고객이 볼 수 있는 영향이 없었다.
Google 엔지니어들은 6월 10일 07:35 내부 운영 모니터링으로 이 문제를 알았다. 세그폴트의 원인을 찾아 수정본을 만들었고 단계적으로 배포하기 시작했다.
6월 12일 12:06 세그폴트를 일으키는 트래픽이 늘면서, 동시에 내려가 있는 API 서버가 부하에 비해 서빙 용량이 모자랄 만큼 많아졌다. Vertex Prediction 위에 만든 여러 서비스에서 사용자 요청이 영향을 받았다는 보고가 올라왔다. 엔지니어들은 6월 10일에 찾은 문제와 원인이 같다는 것을 빠르게 확인하고 진행 중이던 배포를 앞당겼다. 배포는 15:59 에 끝났고 장애는 3시간 53분 만에 완전히 완화됐다.
2024년 6월 12일 12:06 US/Pacific 부터 Vertex AI Online Prediction, Dialogflow CX, Agent Assist 에서 여러 리전에 걸쳐 오류율이 올라갔다. 영향을 받은 리전은 us-central1, asia-southeast1, europe-west3, europe-west4, us-east1, us-west1, northamerica-northeast1, us-east4 였다.
Vertex AI 에서는 Predict, RawPredict, GenerateContent, StreamGenerateContent 로 예측 작업을 할 때 지연이 커지고 500, 502 오류율이 올라갔다. 일부 고객의 예측 요청은 "CANCELLED" 오류로 실패했다. Dialogflow CX 의 Generators, Generative Fallback, ML entities 에서는 "INTERNAL" 과 "DEADLINE_EXCEEDED" 오류가 늘었고 일부는 타임아웃이 났다.
Agent Assist 의 Generative Knowledge Assist 에서 LLM 요약과 토픽 모델링 기능의 오류율이 올라갔다. Contact Center AI Insights 의 LLM 요약과 LLM 토픽 모델링 기능도 오류율이 올라갔고, 일부 BigQuery 생성형 기능도 오류가 늘었다.
상태 페이지는 14:48 에 Vertex AI Online Prediction 의 간헐적인 50X 오류와 취소된 요청을 처음 알렸고, 15:18 에 Dialogflow CX 와 Agent Assist 로 범위를 넓혔다. 우회 방법은 없었다. 16:20 에는 회복세가 뚜렷하며 us-central1 은 한 시간 안에 완전히 완화될 것으로 본다고 알렸다.
원인 ? 소프트웨어 결함
6월 10일 07:35 US/Pacific 에 내부 운영 모니터링이 엔지니어들에게 세그폴트 문제를 알렸다. 이때는 고객 영향이 없었다. 6월 12일 12:06 에는 Vertex Prediction 위에 만든 여러 서비스에서 운영 중인 사용자 요청이 영향을 받았다는 보고가 올라왔다.
로드밸런서가 크래시로 내려간 서버를 피해 요청을 보내는 동안에는 고객 영향이 보이지 않는다. 하지만 크래시를 일으키는 요청이 늘면 동시에 빠지는 서버가 늘어 서빙 용량이 부하를 감당하지 못하게 된다. 이번에는 6월 10일에 원인과 수정본이 이미 있었지만 단계적 배포가 끝나기 전에 고객 영향이 시작됐다. 서버 바이너리의 초기 이상 신호는 고객 영향이 없을 때도 운영 상태 분석에서 잡고 제때 조사해야 한다.
같은 원인 · 공통 클라우드 로드 밸런서
같은 원인 · 공통 클라우드 로드 밸런서
같은 원인 · 공통 클라우드 로드 밸런서