PostgreSQL to ES: (1) Kafka Connect CDC 파이프라인 구성

이 글은 PostgreSQL 데이터를 Elasticsearch(ES)로 동기화하는 기존의 복잡한 파이프라인을 Kafka Connect CDC 파이프라인으로 대체한 경험을 공유합니다. 기존 파이프라인은 PostgreSQL 큐 테이블, 배치 앱, 유입 파이프라인, RabbitMQ 등을 거쳐 ES에 인덱싱하는 다단계 과정을 거쳐 복잡성과 장애 발생 시 원인 파악의 어려움이 있었습니다.

이러한 문제를 해결하기 위해 Logstash, NiFi, PGSync, Kafka Connect 등 다양한 툴을 검토한 결과, Kafka에 대한 익숙함과 유지보수 용이성, 가용성 및 확장성 이점을 고려하여 Kafka Connect를 선택했습니다. Kafka Connect는 Connector와 Task를 실행 및 관리하며, PostgreSQL의 Logical Decoding을 통해 변경 데이터를 캡처하여 ES로 효율적으로 전송하는 CDC 파이프라인을 구축하는 과정을 다룹니다.