IL-0078 ZenML · 2025-05-11kubernetesaws
ZenML Pro 워크스페이스를 올린 운영 EKS 클러스터는 오래된 쿠버네티스 버전과 AMI 이미지 타입을 쓰고 있었다. 팀은 업그레이드하기로 했다. 5월 9일 스테이징 EKS 클러스터 업그레이드가 큰 문제 없이 끝났다. 팀은 그 과정에서 EKS 와 VPC Terraform 모듈도 올려야 한다는 것을 알았다. 운영 업그레이드는 주말인 5월 10일과 11일에 하기로 승인됐다.
5월 10일 18:00 에 업그레이드를 시작했다. 이때 워크스페이스는 대부분 쉬고 있었다. VPC 모듈과 EKS 모듈 업그레이드는 문제없이 끝났다. 23:38 에 Terraform 이 EKS 모듈 업그레이드 과정에서 AWS KMS 시크릿 암호화를 켰다. 이 작업은 스테이징보다 훨씬 오래 걸렸다. 노드 수와 시크릿 양 때문으로 보였다. 팀은 문제를 예상하지 않았고 00:45 부터 업그레이드가 밤새 돌아가게 두었다.
팀이 다음 날 06:00 에 보니 시크릿 암호화는 성공했지만 Terraform 이 워커 노드의 핵심 IAM 권한을 지운 상태였다. 보고서는 이를 KMS 시크릿 암호화를 Terraform 으로 적용하다 문서에 없는 버그에 걸린 결과로 본다. 클러스터 밖에서 서버 파드에 닿을 수 없어 모든 워크스페이스가 멈췄다. IAM 역할을 고쳐 보는 시도는 실패했고, 결국 노드 그룹을 지우고 다시 만들어야 했다. 7:30 무렵 서비스가 모두 복구됐다.
운영 ZenML Pro 워크스페이스 전체가 약 8시간 멈췄다. 데이터 손실, 손상, 무단 접근은 없었다. 장애에는 여러 요인이 겹쳤다. 팀은 오래된 EKS 와 VPC Terraform 모듈과 옛 AMI 버전에 기대고 있었다. 쿠버네티스와 모듈 버전을 건너뛰는 사이 업그레이드 복잡도가 쌓였다. 팀은 규모가 훨씬 작은 스테이징의 성공만 보고 위험을 낮게 봤다.
2025-05-11 0시부터 8시 사이, 중부유럽 서머타임인 CEST 기준으로 ZenML Pro 워크스페이스 서버에 모두 접속할 수 없었다.
5월 11일 06:00 에 밤새 돌게 둔 업그레이드를 이어서 보려던 팀은 운영 클러스터가 비정상 상태인 것을 발견했다. 클러스터 밖에서 ZenML Pro 서버 파드에 접근할 수 없었고 모든 워크스페이스가 사실상 멈춰 있었다.
시크릿 암호화 작업은 성공했지만, 그 부작용으로 Terraform 이 EKS 워커 노드에서 핵심 IAM 권한을 지운 상태였다. 고객은 워크스페이스 UI 와 파이프라인에 접근하지 못했고, ZenML Pro 대시보드는 영향을 받지 않았다.
팀은 IAM 역할을 고쳐 접근을 되살리려 했지만 실패했다.
증상 ? 서비스 중단
원인 ? 소프트웨어 결함
팀은 밤새 돌게 둔 업그레이드를 이어서 보려고 5월 11일 06:00 에 클러스터를 다시 보다가 비정상 상태를 발견했다.
팀은 규모가 훨씬 작은 스테이징 클러스터에서 업그레이드가 성공한 것을 보고 운영에서 같은 변경의 위험을 낮게 봤다. 쿠버네티스와 모듈 버전을 건너뛰는 사이 업그레이드 복잡도가 쌓여, 업그레이드 한 번에 많은 변경이 한꺼번에 실렸다.
같은 원인 · 공통 노드 풀
같은 원인 · 공통 노드 풀
같은 원인 · 공통 Terraform
같은 원인 · 공통 노드 풀