IL-0021 Google Cloud · 2024-03-12kubernetesgcpai-infra
Container-Optimized OS 의 GKE 노드는 부팅할 때 드라이버 공급사 소유의 버킷에서 NVIDIA 드라이버를 받아요. 그 버킷 접근이 실패해서 T4, L4, A100, H100 용 새 노드와 다시 만든 노드가 모든 GPU 리전에서 거의 일곱 시간 동안 드라이버 없이 올라왔어요. 노드 자동 복구가 노드를 계속 다시 만들며 재시도해서, 공급사와 접근 문제를 고치는 동안 자동 복구를 멈춰 부분적으로 완화했어요. 자동 복구를 꺼 둔 고객은 나중에 노드를 직접 다시 만들어야 했어요.
새로 만들거나 다시 만든 GPU 노드가 동작하는 GPU 없이 시작됐어요. 노드에서 드라이버 설치가 다운로드 금지 응답으로 실패했어요.
증상 ? GPU 인식 불가노드 NotReady
원인 ? 의존성 장애
알 수 없음
–
보고서에 설명 외의 교훈은 없어요.
같은 원인 · 공통 GPU 드라이버