IL-0209 GitLab · 2021-08-24kubernetes
GitLab 은 GitLab.com 웹 서비스를 VM 에서 쿠버네티스로 옮기는 중이었다. 트래픽이 쿠버네티스 웹 파드로 넘어오는데, 웹 파드에 설정한 targetCPU 가 너무 높았다. 목표값이 너무 높아 파드가 늘지 않았고, 웹 프런트엔드 요청 일부가 잠시 느려졌다. 웹 지연 SLO 는 약 15분 동안 깨졌다.
팀은 머지 요청 gitlab-com/gl-infra/k8s-workloads/gitlab-com!1149 로 목표값을 더 보수적인 값으로 낮췄다.
2021년 8월 24일 07:30 UTC에 웹 서비스의 지연 SLO 가 깨졌다. 웹 서비스의 Apdex 가 떨어졌고, 웹 프런트엔드로 가는 요청 일부가 잠시 느려졌다. Apdex 는 응답 시간이 목표 안에 든 요청의 비율로 계산하는 만족도 점수다.
이때 GitLab 은 웹 서비스를 VM 에서 쿠버네티스로 옮기면서 트래픽을 쿠버네티스 웹 파드로 넘기고 있었다. 07:40에 Slack 에서 장애가 선언됐고, 07:45에 SLO 가 회복됐다.
증상 ? 지연 시간 증가오토스케일러 오동작
원인 ? 설정 변경
07:30 UTC에 웹 지연 SLO 가 깨졌고, 10분 뒤인 07:40에 엔지니어가 Slack 에서 장애를 선언했다.
트래픽을 새 파드로 넘길 때 HPA 의 CPU 목표값이 너무 높으면 부하가 늘어도 파드가 제때 늘지 않는다. 팀은 목표값을 보수적으로 낮춰 이 문제를 풀었다.
–