추측이 아닌 데이터로: 3개 서비스 27개 SLO와 54개 모니터를 설정하고 배포 자동화까지 구축한 2주의 집중 작업

이 글은 O4O 엔지니어링팀이 3개의 주요 서비스에 27개의 SLO와 54개의 모니터를 설정하고 배포 자동화까지 구축한 경험을 공유합니다. 기존에는 정기 배포 시마다 발생하는 알림과 부정확한 모니터링으로 인해 서비스 안정성 관리에 어려움을 겪었습니다.

특히, 동일 목적의 SLO가 중복 존재하고 클라이언트 오류를 서버 장애로 오판하는 등 측정 방식의 문제가 있었습니다. 이러한 문제를 해결하기 위해 AI를 활용하여 7일간의 집중 작업을 통해 SLO 자동화 시스템을 구축했습니다.

그 결과, 배포 중 오탐 알림이 0건으로 줄었고, 실제 비즈니스 실패를 즉시 탐지할 수 있게 되어 서비스 안정성을 크게 향상시켰습니다. 이 경험은 추측이 아닌 데이터 기반의 서비스 운영과 SRE 실천에 대한 실질적인 가이드라인을 제공합니다.