Iceberg Operation Journey: Takeaways for DB & Server Logs

카카오 데이터 분석 플랫폼팀의 Iceberg 운영 경험을 공유하는 글입니다. 이전 글에서 MySQL 테이블 간 CDC 수행 및 MySQL에서 Iceberg로 CDC 수행 경험을 다루었으며, 이번 글에서는 수집되는 로그 유형에 따른 Iceberg 테이블 파티셔닝 및 최적화 방법, 그리고 현재 운영 방식과 테스트 결과를 공유합니다.

데이터 분석팀은 서비스팀의 데이터베이스에서 직접 데이터를 가져오는 방식이 프로덕션 서비스에 영향을 줄 수 있다는 점을 고려하여, CDC를 통해 Iceberg와 연동하는 방식으로 메트릭 추출 파이프라인을 개선했습니다. 이 글은 두 가지 유형의 로그를 Iceberg 테이블에 로딩할 때 필요한 설정과 최적의 운영 방법을 소개하며, 특히 로그 유형별 최적화 방안에 초점을 맞춥니다.