Kafka Connect로 DB 데이터 쉽게 연동하기

컬리 데이터서비스개발팀에서 Kafka Connect와 JDBC 커넥터를 활용하여 다양한 데이터베이스의 데이터를 Kafka로 쉽게 전송하는 방법을 소개합니다. Kafka Connect는 별도의 코딩 없이 설정 파일만으로 데이터 파이프라인을 구성할 수 있으며, 다양한 데이터 소스와 시스템 간의 연동을 지원하는 커넥터를 제공한다는 장점이 있습니다.

본문에서는 Kafka Connect의 아키텍처(커넥터, 태스크, 워커)를 설명하고, 실제 컬리에서 운영 데이터베이스 데이터를 Kafka 메시지로 변환하여 타겟 시스템에 적재하는 데이터 파이프라인 구성에 활용하고 있음을 보여줍니다. 이를 통해 복잡한 데이터 관리의 어려움을 해소하고 분석 플랫폼으로 데이터를 통합하는 방안을 제시합니다.