kakao의 오픈소스 Ep5 – Almighty Data Transmitter

카카오에서 개발한 오픈소스 도구인 ADT(Almighty Data Transmitter)를 소개합니다. ADT는 MySQL에서 데이터를 수집하여 다른 MySQL DB로 전송하는 만능 데이터 전송 도구로, CDC(Change Data Capture)와 ETL(Extract, Transform, Load) 기능을 결합한 형태입니다.

초기에는 샤드 구성 변경 시 데이터를 재분배하는 용도로 시작되었으나, 현재는 1회성 마이그레이션 작업과 실시간 마이그레이션 작업 등 다양한 용도로 활용될 수 있습니다. 주요 기능으로는 MySQL 데이터 수집, Table Crawler를 통한 데이터 수집, Binary Log Receiver를 통한 실시간 변경 데이터 수집, 그리고 수집된 데이터를 사용자가 정의한 Custom Handler로 전달하는 기능이 있습니다.

ADT는 MySQL 기반의 CDC/ETL 시스템 구축을 위한 좋은 시작점이 될 수 있으며, 오픈소스로 공개되어 기여를 환영하고 있습니다.