Oracle에서 MongoDB로의 CDC Pipeline 구축

카카오페이증권 인프라플랫폼팀에서 Oracle에서 MongoDB로의 CDC(Change Data Capture) 파이프라인을 구축한 경험을 공유합니다. MSA 전환과 함께 분산된 데이터 활용의 중요성이 커지면서, Kafka를 중심으로 한 CDC 파이프라인 구축을 목표로 했습니다.

특히 Oracle에서 MongoDB로의 CDC는 흔치 않은 조합으로, 초기 데이터 이관과 실시간 데이터 동기화를 위해 Kafka Connect와 Debezium을 활용하여 파이프라인을 구축했습니다. 이 과정에서 발생한 이슈와 해결 방안을 상세히 설명하며, RDBMS에서 NoSQL로의 CDC 구축 시 고려해야 할 사항들을 제시합니다.

이를 통해 사용자 데이터의 실시간 분석 기반을 마련하고, 데이터 파이프라인의 안정성과 확장성을 확보하는 데 기여했습니다.