IL-0138 Barush Mendez · 2025-03-03kubernetes
쿠버네티스 마스터 노드에는 Jellyfin 하드웨어 가속용 Nvidia GPU 가 달려 있었다. nvidia-dkms-390 드라이버를 설치할 때 드라이버가 기존 커널 버전에 맞게 빌드되지 않았고, 커널 헤더와 다른 의존 패키지도 설정에 실패했다. 이 상태가 몇 주 동안 방치됐지만 시스템은 계속 돌았다.
정전으로 노드가 재부팅되자 커널 패닉이 나서 부팅되지 않았다. 이 노드는 클러스터의 유일한 마스터 노드였다. 쿠버네티스 관리가 전부 멈췄고, 서비스들이 마스터 노드의 사설 IP 를 쓰고 있었기 때문에 모든 애플리케이션에 접속할 수 없었다.
모니터를 연결해 커널 패닉을 확인한 뒤 이전 커널 버전으로 부팅하자 시스템이 돌아왔다. apt update 와 apt upgrade 는 망가진 패키지 때문에 실패했다. 망가진 Nvidia 패키지를 지우고, 패키지 설정과 빠진 의존성을 고치고, 커널 헤더를 다시 설치한 뒤 재부팅해 문제를 해결했다. 자동 알림과 모니터링이 없어서 복구까지 6일이 걸렸다. 데이터 손실은 없었다.
2025년 3월 3일 14:15:34부터 홈랩 쿠버네티스에 올린 서비스에 접속되지 않았다. 운영자가 서비스에 들어가려다 직접 알아챘고, 알아채기까지 3시간이 걸렸다.
멈춘 것은 V-Rising 서버, Kube-API, Grafana, Jellyfin, Linkding 이었다. 올린 서비스 전부가 접속되지 않았고, Kube-API 도 내려가 쿠버네티스를 관리할 수 없었다.
원격 접속도 되지 않았다. 마스터 노드에 모니터를 연결해 부팅 로그를 보고 나서야 커널 패닉을 확인했다.
운영자가 서비스에 접속하려다 직접 알아챘다. 자동 알림이 없어서 알아채기까지 3시간이 걸렸다.
드라이버 빌드 실패를 그대로 두면 몇 주 뒤 재부팅 때 터질 수 있다. 자동 알림이 없어서 발견과 복구가 늦었다. 마스터 노드가 하나뿐이라 노드 하나의 고장이 클러스터 전체 장애가 됐다. 원인을 찾은 뒤에는 비교적 간단히 고쳤고, 데이터 손실은 없었다.
같은 원인 · 공통 GPU 드라이버
같은 원인 · 공통 쿠버네티스 API 서버
같은 원인 · 공통 리눅스 커널
같은 원인 · 공통 리눅스 커널
같은 원인 · 공통 리눅스 커널
같은 원인 · 공통 리눅스 커널
같은 원인 · 공통 쿠버네티스 API 서버
같은 원인 · 공통 쿠버네티스 API 서버
같은 원인 · 공통 쿠버네티스 API 서버