Architecture핑크퐁의 통합 데이터 환경 구축기 (feat. Snowflake)
더핑크퐁컴퍼니는 핑크퐁, 아기상어 IP를 활용한 다양한 플랫폼에서 발생하는 데이터를 통합하고 효율적으로 분석하기 위해 Snowflake를 중심으로 한 새로운 데이터 환경을 구축했습니다. 기존에는 Data Silo 문제로 인해 데이터 활용에 비효율이 많았으나, 이를 해결하기 위해 IDC 기반의 자체 관리 로그 시스템을 클라우드 기반으로 전환하고 AWS Kinesis, Data Firehose, Lambda 등을 활용하여 로그 수집 파이프라인을 개선했습니다. 초기에는 Elasticsearch와 Kibana를 사용했으나 한계가 있었고, Google BigQuery를 고려하기도 했지만 최종적으로 Snowflake를 메인 데이터 웨어하우스로 도입했습니다. 이 과정을 통해 데이터 사일로를 극복하고 중앙화된 데이터 플랫폼을 구축하여 데이터 분석 및 활용의 효율성을 크게 높였습니다.
Snowflake데이터 아키텍처Data Silo
더핑크퐁컴퍼니·2023년 9월 6일