IL-0160 Linode · 2026-03-04kubernetesai-infra
2026년 3월 4일 21:00 UTC 무렵부터 NVIDIA RTX 4000 Ada GPU 를 쓰는 Linode 에서 GPU 가 잠기는 문제가 생겼다. 처음에는 LKE 워커 노드에만 생긴 문제로 보였지만, 이 하드웨어를 쓰는 모든 Linode 가 영향을 받았다. 일반 컴퓨트 인스턴스와 다른 GPU 인스턴스는 영향이 없었다. 영향을 받은 LKE 는 US-ORD 시카고, US-SEA 시애틀, JP-OSA 오사카, SG-SIN-2 싱가포르 2 리전이었다.
Linode 의 담당 전문가들은 먼저 최근 소프트웨어 릴리스를 원인 후보에서 뺐다. 그 뒤 얼마 전 배포한 텔레메트리 스크립트로 원인을 좁혔다. 일상적인 시스템 개선 작업 중에 팀은 내부 관측 대시보드에서 빠진 지표를 되살리려고 고장 난 레거시 GPU 모니터링 스크립트를 고쳤다. 이전 세대 GPU 용으로 쓴 이 스크립트는 펌웨어 검사 쿼리를 보내고 있었다. 스크립트를 고치는 작업에서는 이 쿼리를 미처 보지 못했다. RTX 4000 Ada 아키텍처에서는 동작 중인 GPU 에 이런 종류의 쿼리를 보내면 GPU System Processor, 곧 GSP 에서 레이스 컨디션이 생긴다. 그러면 GPU 가 스스로를 지키려고 잠금 상태로 들어가고, 돌고 있던 작업은 GPU 를 쓸 수 없게 된다. Linode 는 모든 GPU 에서 이 스크립트를 끄고 노드를 재부팅했다. 3월 5일 17:16 UTC 무렵 영향이 완전히 완화됐다.
2026년 3월 4일 21:00 UTC 무렵부터 NVIDIA RTX 4000 Ada GPU 를 쓰는 Linode 인스턴스가 잠기기 시작했다. 처음에는 Linode Kubernetes Engine 의 워커 노드만 겪는 문제로 보였지만, 나중에 이 하드웨어를 쓰는 모든 Linode 가 영향을 받은 것으로 확인됐다. 일반 컴퓨트 인스턴스와 RTX 4000 이 아닌 GPU 인스턴스는 영향이 없었다.
3월 5일 02:07 UTC 첫 공지에 따르면 오사카 osa1, 시애틀 sea1, 시카고 ord1 을 포함한 여러 리전의 RTX 4000 Ada GPU 노드가 복구할 수 없는 오류 상태를 보고했다. 이 때문에 Vulkan 초기화와 GPU 가속 작업이 실패했다. 오사카 리전의 일부 LKE 클러스터는 컨트롤 플레인 연결 문제를 겪었고, API 요청이 타임아웃되거나 오류를 냈다. 엔지니어들은 처음에 호스트 하이퍼바이저나 GPU 펌웨어의 회귀를 의심했다.
07:34 UTC 에 수정을 적용하고 지켜보는 단계로 넘어갔지만, 10:50 UTC 에 여러 리전에서 같은 문제가 다시 생겼다는 공지가 올라왔다. 16:23 UTC 에 원인을 찾았다는 공지가 나왔고, 17:01 UTC 에 서비스를 바로잡았다는 공지가 이어졌다.
증상 ? GPU 인식 불가컨트롤 플레인 무응답
원인 ? 배포 결함
고객은 21:00 UTC 무렵부터 잠김을 겪었고, 상태 페이지 첫 공지는 약 5시간 뒤인 3월 5일 02:07 UTC 에 올라왔다. 처음에는 LKE 워커 노드에서만 생기는 문제로 보였다.
모니터링 스크립트가 자기가 지켜보는 하드웨어를 멈출 수 있다. 빠진 지표 하나를 되살리려던 수정이 이전 세대 GPU 용으로 쓴 펌웨어 조회까지 되살렸다. RTX 4000 Ada 아키텍처에서는 동작 중인 GPU 에 이 조회를 보내면 GPU 가 잠긴다. 스크립트가 모든 GPU 에서 돌았기 때문에 여러 리전에서 이 GPU 를 쓰는 모든 Linode 가 영향을 받았다. 엔지니어들은 처음에 호스트 하이퍼바이저나 GPU 펌웨어의 회귀를 의심했다.
같은 원인 · 공통 텔레메트리 에이전트
같은 원인 · 공통 텔레메트리 에이전트