IL-0014 loveholidays · 2019-03-19kubernetesgcp
업그레이드 하나에서 여러 문제가 겹쳤어요. emptyDir 볼륨, 긴 종료 유예 시간, 디스럽션 버짓 없음 때문에 드레인이 느렸어요. 노드 풀 작업이 멈춰 취소해야 했고, 남은 인스턴스는 손으로 지웠고, 대상 버전의 알려진 인그레스 버그가 내부 인그레스를 끊었어요. 다음 날에는 수평 오토스케일러가 활성 레플리카셋 둘을 두고 잘못 동작했어요. 제공자는 나중에 그 패치 버전을 컨트롤 플레인 오류 증가로 거둬들였어요. 팀은 최대치에 가까운 오토스케일러와 레플리카셋이 둘인 배포에 경보를 더했어요.
노드 드레인이 계획보다 훨씬 오래 걸렸고, 노드 풀 업그레이드 하나가 멈췄고, 일부 인스턴스는 종료되지 않은 채 남았어요. 내부 인그레스 하나가 멈췄고, 다음 날에는 오토스케일러가 배포 하나를 최대치까지 계속 키웠어요.
원인 ? 클라우드 제공자 장애
인그레스 실패는 로그에서 봤고, 오토스케일러 문제는 다음 날 알아챘어요.
업그레이드 전에 릴리스 노트를 읽고, 안전한 곳에서는 자동 업그레이드를 쓰고, 리소스 이름까지 환경을 똑같이 유지해야 해요.
IL-0020 편집자가 연결함