IL-0143 Google Cloud · 2019-11-04kubernetesgcp
2019-11-04 부터 GKE 1.13 과 1.14 의 특정 버전으로 업그레이드한 클러스터에서 일부 노드의 커널 패닉이 늘었다. 실제로 영향받은 프로젝트는 매우 적어서 Google 은 11월 7일 이 장애를 주황색 등급인 Service Disruption 으로 낮췄다. 그동안 Google 은 영향받은 버전에 들지 않는 이전 릴리스로 노드를 내리라고 안내했고, Release Channel 사용자는 지원팀에 다운그레이드를 요청하라고 했다.
11월 11일 16:00 US/Pacific 에 수정 버전 1.13.11-gke.14, 1.13.12-gke.8, 1.14.7-gke.23, 1.14.8-gke.12 가 나왔다. 이 수정 버전들은 임시 완화책으로 Container-Optimized OS 버전을 cos-73-11647-293-0 으로 내렸다. Google 은 다음 GKE 릴리스에서 커널을 올리고 패닉을 고치겠다고 했다. 수정 버전은 노드 자동 업그레이드를 켠 노드 풀에 배포돼 11월 15일까지 끝날 예정이었고, 수동 업그레이드를 쓰는 고객은 직접 노드를 올려야 했다. 장애는 11월 13일 15:38 에 해결로 닫혔다.
2019-11-04 11:46 US/Pacific, Google 은 최근 업그레이드한 GKE 클러스터의 일부 노드에서 커널 패닉이 늘었다며 조사를 시작했다. 영향은 특정 GKE 버전으로 업그레이드한 노드에 한정됐다.
영향받은 버전은 1.13.11-gke.9, 1.14.7-gke.14, 1.13.12-gke.1, 1.14.8-gke.1, 1.13.11-gke.11, 1.13.12-gke.2, 1.14.7-gke.17, 1.14.8-gke.2, 1.13.12-gke.3, 1.14.8-gke.6, 1.13.11-gke.12, 1.13.12-gke.4, 1.14.8-gke.7 이었다. 상태 페이지는 GKE 버전을 올린 뒤 커널 패닉이 난다고 진단했다.
11월 7일 Google 은 실제로 영향받은 프로젝트 수가 매우 적다며 이 장애를 주황색 등급인 Service Disruption 으로 낮췄다.
증상 ? 노드 커널 패닉
원인 ? 소프트웨어 결함
–
커널 수정이 나올 때까지 노드 운영체제 이미지를 이전 버전으로 내리는 것을 임시 완화책으로 썼다.
같은 원인 · 공통 노드 운영체제 이미지, 리눅스 커널
같은 원인 · 공통 노드 운영체제 이미지, 리눅스 커널
같은 원인 · 공통 노드 운영체제 이미지
같은 원인 · 공통 노드 운영체제 이미지
같은 원인 · 공통 리눅스 커널
같은 원인 · 공통 노드 운영체제 이미지
같은 원인 · 공통 리눅스 커널