밑바닥부터 시작하는 실시간 데이터 파이프라인 : Debezium 톺아보기

이 글은 여기어때컴퍼니 공통플랫폼개발팀에서 실시간 데이터 반영의 필요성을 느껴 CDC(Change Data Capture)를 도입하고, 이를 위해 Debezium을 활용하여 실시간 데이터 파이프라인을 구축한 경험을 공유합니다. Debezium은 MySQL, PostgreSQL 등 다양한 데이터베이스의 트랜잭션 로그를 기반으로 변경 사항을 감지하여 Kafka로 스트리밍하는 오픈소스 플랫폼입니다.

글에서는 Debezium을 이용한 로그 기반 CDC 구현 방법, Kafka Connect와의 연동, 그리고 실제 적용 사례를 상세히 다룹니다. 특히, 트랜잭션 로그를 활용하는 방식이 원본 데이터베이스에 부하를 적게 주면서도 데이터의 최신 상태를 일관성 있게 유지할 수 있다는 장점을 강조합니다.

이를 통해 데이터 웨어하우스뿐만 아니라 다양한 분석 및 서비스 운영에 필요한 실시간 데이터 동기화를 가능하게 합니다.