6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기

네이버페이 Plasma 프로젝트의 최종 단계에서 개발된 DB CDC 복제 도구 ergate 프로젝트 경험을 공유합니다. 기존 mig-data 도구는 DB 코어 개발자가 Java로 작성하여 백엔드 개발자가 유지보수 및 추가 개발에 어려움을 겪었습니다.

ergate는 사용량 증가에 따른 확장성과 유지보수 용이성을 목표로 개발되었습니다. mig-data는 양방향 복제 관련 복잡성과 단일 레코드 실패 시 전체 복제 지연, 칼럼 추가 순서 제약, 제한적인 복구 방법 등의 문제점을 가지고 있었습니다.

ergate는 이러한 문제점을 개선하고 Kafka 이벤트 기반 비동기 복제 프로세스를 전환하여 네이버페이 주문 백엔드의 안정적인 데이터 복제를 지원합니다.