로그 유형별 Iceberg 테이블 적재 및 운영 전략

본 글은 로그 유형별 Iceberg 테이블 적재 및 운영 전략에 대해 다룹니다. 데이터분석플랫폼 조직에서 서비스 팀의 데이터를 취합하여 지표를 추출하고 제공하는 미션을 수행하며, Apache Kafka와 데이터베이스 등 다양한 소스에서 데이터를 수집합니다.

특히, 서비스 팀의 데이터베이스 부담을 줄이기 위해 CDC를 통해 Iceberg로 데이터를 연동하는 방식을 개선했습니다. 글에서는 지표 추출을 위해 수집하는 클라이언트 로그, 서버 로그, DB 로그 중 DB 로그의 현 운영 방식과 서버 로그의 개선 테스트 내용을 공유합니다.

또한, 로그 유형과 특성에 따른 Iceberg 테이블 적재 방식, 파티션 전략, 최적화 방법, 그리고 관련 지표 모니터링 방안을 제시합니다. Apache Flink와 Iceberg에 대한 배경 지식이 있다면 이해에 도움이 될 것입니다.