새로 띄운 쿠버네티스 노드가 호환되지 않는 etcd 버전으로 돌아 여러 운영 클러스터의 합의가 깨졌고, GitHub.com 의 git 작업과 웹 요청이 5XX 오류로 실패했다.

증상

2026년 3월 12일 01:36 UTC 부터 GitHub.com 의 git 작업, 웹 요청, 관련 서비스에서 오류율이 올라갔다. git push, git clone, 페이지 로드가 간헐적으로 5XX 오류를 내며 실패했다.

01:54 UTC 에 상태 페이지에 첫 공지가 올라왔다. 일부 GitHub 서비스의 성능이 떨어졌다는 보고를 조사하고 있다는 내용이었다. 02:13 UTC 공지에서는 오류율이 내려가기 시작했다고 했다. 02:44 UTC 공지에서는 근본 원인을 찾았다고 밝히고, 일부 사용자가 간헐적인 실패와 오류를 겪었을 수 있다고 덧붙였다. 장애가 이어지는 내내 배포는 멈춰 있었다.

증상 ? 오류율 상승

원인

촉발

계획된 인프라 업그레이드 중에 설정 문제가 생겨 새로 프로비저닝한 쿠버네티스 노드가 호환되지 않는 etcd 버전으로 올라왔다.

감지

상태 페이지의 첫 공지는 01:54 UTC 에 올라왔다. 일부 GitHub 서비스의 성능이 떨어졌다는 보고를 조사하고 있다는 내용이었다. 오류율이 오르기 시작한 01:36 UTC 에서 18분 뒤였다.

조치

• 장애가 이어지는 동안 배포를 멈췄다.
• 호환되지 않는 etcd 버전으로 돌던 새 노드를 찾아 빼냈고, 그 뒤 클러스터 합의가 돌아왔다.
• 검증용 배포로 모든 시스템이 정상인 것을 확인한 다음 평소 운영을 재개했다.

후속 조치

• 노드를 교체할 때 버전 호환성 검사를 자동화해 강제한다. 예정
• 스플릿 브레인 상태를 더 일찍 잡아내는 모니터링을 만든다. 예정
• 복구 도구를 고쳐 복구에 걸리는 시간을 줄인다. 예정

교훈

–

출처

• https://www.githubstatus.com/incidents/lw6j95nyw3py · official-status

관련 사례

• IL-0152 정비 작업 중 FRA1 내부 인프라 클러스터에 잘못된 설정이 들어가 그 위에서 돌던 DOKS 클러스터 200개의 컨트롤 플레인이 자동으로 삭제됐다.DigitalOcean · 2024

  같은 원인 · 공통 etcd