IL-0171 Inflab · 2025-08-27 (게시일)kubernetesawsai-infra

Bottlerocket AMI 에 libdcgm.so 가 없어 GPU 노드의 AcceleratedHardwareReady 가 False 가 됐고, Karpenter 노드 자동 복구가 Ready 뒤 10~11분마다 GPU 노드를 교체하는 일을 끝없이 되풀이했다.

Inflab 은 Amazon EKS 1.32 클러스터에서 Bottlerocket AMI amazon/bottlerocket-aws-k8s-1.32-nvidia-aarch64-v1.39.1-3a880b44 와 g5g.xlarge GPU 인스턴스로 강의 영상 업스케일링 작업을 돌렸다. 노드는 Karpenter v1.4.0 이 관리했다. 전에는 Bottlerocket 노드에서 메모리가 부족해 kubelet 이 OOM 으로 죽으면, EC2 인스턴스는 살아 있는데 쿠버네티스에서는 Unknown 으로 보이는 좀비 노드가 생겼다. 이를 정리하려고 Karpenter 의 nodeRepair 기능 게이트를 켰다. Node Auto-Repair 는 Karpenter v1.1.0 부터 들어간 알파 기능이다.

이 AMI 에는 NVIDIA DCGM 라이브러리인 libdcgm.so 가 없었다. DCGM 은 데이터센터 GPU 의 상태와 이벤트를 모으는 NVIDIA 관리 도구다. 라이브러리가 없어도 GPU 연산은 되지만 DCGM 으로 GPU 상태를 볼 수는 없다. 노드가 Ready 가 되고 약 1분 뒤 DCGM 초기화가 실패하면서 AcceleratedHardwareReady 노드 컨디션이 False 가 됐다.

Karpenter Node Auto-Repair 는 Ready=False, Ready=Unknown, MemoryPressure=True, DiskPressure=True, PIDPressure=True, NetworkUnavailable=True 와 함께 AcceleratedHardwareReady=False 도 비정상 노드로 본다. 비정상 컨디션을 찾으면 컨디션이 바뀐 시각에 정책의 유예 시간을 더한 종료 시각까지 기다렸다가 NodeClaim 을 지운다. 그래서 노드는 Ready 뒤 약 10~11분 만에 교체됐고, 새 노드도 같은 AMI 를 써서 같은 일이 끝없이 되풀이됐다.

팀은 DCGM 라이브러리를 직접 설치하는 방법, 다른 AMI 를 쓰는 방법, Node Auto-Repair 를 끄는 방법을 비교했다. Bottlerocket 은 불변 OS 라 직접 설치가 어려웠고, AMI 를 바꾸면 기존 인프라를 바꾸는 부담이 컸다. 팀은 바로 적용할 수 있는 Node Auto-Repair 끄기를 골랐다. 다만 이 방법은 임시 해결책이다.

심각도

–

영향 범위

GPU nodes replaced every 10 to 11 minutes and GPU pods restarted continuously, so the video upscaling work could not proceed

영향 사용자

–

지역

–

감지까지

–

복구까지

–