입수는 Datalake로! (feat. Iceberg)

토스 데이터 플랫폼팀은 데이터 효율성 향상을 위해 DataLake에 Iceberg 포맷을 도입한 'Iceage 프로젝트' 경험을 공유합니다. Iceberg는 실시간 데이터 조회 및 수정, 운영 비용 절감, 스키마 진화 간소화, 쿼리 성능 최적화 등의 목표를 달성하는 데 기여했습니다.

특히 유지보수와 운영 측면에 초점을 맞춰, Kafka Connect 기반 메타데이터 관리, 리니지 관리, 트랜잭션 지원을 통한 데이터 일관성 및 무결성 유지, 히든 파티셔닝 및 파티션 에볼루션을 통한 쿼리 성능 최적화 등의 실질적인 팁과 인사이트를 제공합니다. 2를 기준으로 작성되었습니다.

와 Iceberg 1.5.2를 기준으로 작성되었습니다.