MariaDB Binlog을 이용한 변경사항 추적

이 글은 MariaDB(MySQL)의 Change Data Capture(CDC) 기술을 활용하여 테이블의 변경 사항을 추적하는 방법을 공유합니다. CDC는 데이터베이스 변경 이벤트를 Binary 로그 파일에 저장하고 이를 스트리밍 방식으로 복제하는 기술로, 최근 메시지 큐와 연동하여 검색 엔진, 캐시, 통계 등 다양한 용도로 활용하는 추세입니다.

기존의 일반적인 DB 기반 구조는 시스템 확장 시 데이터 불일치 문제가 발생하기 쉽지만, 로그 기반 구조는 CDC를 통해 변경 데이터를 추출하여 메시지 큐에 일괄적으로 전달하므로 데이터 관리가 단순해지고 장애 발생 시에도 데이터 오염 없이 활용 가능합니다. 본문에서는 Binlog 분석기의 필요성과 오픈소스 선정, Binlog 이벤트 흐름 등에 대해 다룹니다.