Trino를 활용한 전사 데이터 분석 시스템 구축기

SK 플래닛은 데이터 기반 서비스를 위해 2014년부터 전사 데이터를 통합하는 DIC(Data Integration Cluster)를 구축하고 운영해왔습니다. 본 글은 DIC에서 데이터 리드 타임을 단축하고 실시간 데이터 전달을 강화하기 위한 프로젝트를 소개합니다.

오픈소스 분산 SQL 쿼리 엔진인 Trino를 전사 데이터 분석 엔진으로 도입하여 데이터 전달 시간을 획기적으로 단축한 경험을 공유합니다. 기존에는 운영계 데이터는 RDBMS에서 HDFS로 주기적으로 복제되었고, 로그 및 실시간 데이터는 Kafka를 거쳐 Hadoop에 저장되었습니다.

Trino를 활용하여 이러한 데이터 파이프라인을 개선하고 전사적인 데이터 분석 및 조회 시스템을 구축한 사례를 자세히 설명합니다.