프레임워크 업그레이드가 쿠버네티스 인프라에서 커널 패닉을 일으켜 GitHub.com 의 웹과 API 요청이 15시간 넘게 간헐적으로 실패했다

증상

2025년 3월 17일 18:05 UTC 부터 GitHub.com 의 웹 요청과 API 요청이 간헐적으로 실패했다. 실패는 주로 풀 리퀘스트와 이슈 관련 요청에서 났고, 영향을 받은 사용자는 일부였다. 18:39 UTC 에 상태 페이지에 Issues 의 성능 저하 신고를 조사 중이라는 첫 공지가 올라왔다.

21:25 UTC 공지는 Issues 를 쓸 때 HTTP 500 응답이 간헐적으로 나올 수 있고, 요청을 다시 보내면 성공할 수도 있다고 안내했다. 23:01 UTC 공지에 따르면 이슈 관련 페이지와 API 요청에서 오류율이 치솟았고, 쿠버네티스 인프라의 재시작 문제가 그 원인이었다. 가장 심했던 15분 동안에는 이 API 요청들의 0.165% 가 타임아웃이나 오류로 끝났다. 이 시점에 영향은 작아졌지만 원인은 아직 조사 중이었다.

증상 ? 오류율 상승간헐적 타임아웃

원인

촉발

GitHub 이 쿠버네티스 인프라에 프레임워크 업그레이드를 적용했고, 이 업그레이드가 커널 패닉을 일으켰다.

감지

상태 페이지 첫 공지는 장애 시작 34분 뒤인 18:39 UTC 에 올라왔고, Issues 의 성능 저하 신고를 조사 중이라는 내용이었다.

조치

• 업그레이드한 프레임워크를 이전 버전으로 다운그레이드해 영향을 줄였다.
• 문제를 일으킨 기능을 끌 수 있게 된 뒤 그 기능을 껐다.

후속 조치

• 업그레이드가 왜 예상하지 못한 문제를 일으켰는지 조사했다. 완료
• 같은 문제가 다시 나지 않도록 임시 조치를 했다. 완료
• 장기적인 패치 계획을 세운다. 예정
• 비슷한 종류의 문제에 빨리 대응할 수 있도록 관측성을 높인다. 예정

교훈

–

출처

• https://www.githubstatus.com/incidents/y8x4xw6j3q84 · official-status

관련 사례

• IL-0079 GKE 노드가 새 ubuntu_containerd 이미지로 자동 업그레이드된 뒤 커널에서 kube-proxy 가 쓰는 iptables 확장이 빠져, 여러 GKE 클러스터의 인그레스 트래픽이 완전히 끊겼다.Altinity · 2025

  같은 원인 · 공통 리눅스 커널