IL-0004 Grafana Labs · 2019-07-19kubernetes
클러스터 전체 설정 변경으로 우선순위 클래스를 도입하고 우선순위가 없는 파드의 기본값을 중간으로 뒀는데, 운영 인제스터에는 아직 높은 우선순위를 주지 않은 상태였어요. 새 테넌트 클러스터가 중간 우선순위로 스케줄되면서 운영 인제스터를 밀어냈고, 대신 뜬 인제스터도 중간 우선순위라 선점이 연쇄로 이어졌어요. 클러스터에 새 워크로드를 받아 줄 여유도 없었어요. 오류 예산 경보가 4분 만에 당직자를 호출했어요. 기반 클러스터를 키우고 인제스터가 데이터를 비우도록 기다리자 30분 안에 복구됐고, 클라이언트가 쓰기를 다시 보내서 데이터 손실은 없었어요.
인제스터가 링에서 빠지기 시작했고 원격 쓰기가 실패해서 호스팅 Prometheus 가 30분쯤 멈췄어요. 앞단의 인증 프록시는 고객 Prometheus 서버들의 재시도에 밀려 메모리가 바닥났어요.
원인 ? 설정 변경
새로 만든 오류 예산 기반 경보가 당직자를 호출했어요.
클러스터 전체 설정 변경은 더 많은 눈과 설계 문서가 필요해요. 새 기본값은 아직 모든 곳에 배포되지 않은 설정에 기대면 안 돼요.
IL-0020 편집자가 연결함