MySQL online alter부터 CPU 100% 장애까지

쿠키런: 오븐브레이크 팀에서 신규 기능 개발 중 발생한 AWS Aurora MySQL의 online alter 및 CPU 100% 장애 사례를 공유합니다. '패키지 매출 랭킹' 기능 구현을 위해 구매 기록 테이블에 '구매 시점' 컬럼과 인덱스를 추가해야 했으나, 서비스 로직과 직결된 테이블 특성상 일반 ALTER TABLE은 table lock으로 인해 불가능했습니다.

또한, 서비스 전체 구매 기록을 가진 대용량 테이블이라 점검 시간 내 적용도 어려워 online alter을 시도했습니다. 초기에는 Inplace Algorithm을 고려했으나, 실제 적용 과정에서 예상치 못한 CPU 100% 장애를 겪게 되면서 문제 해결 과정을 상세히 다룹니다.

이 글은 대규모 트래픽 환경에서 데이터베이스 스키마 변경 시 발생할 수 있는 문제점과 해결 방안에 대한 인사이트를 제공합니다.