컬리의 BigQuery 도입기 - 1부

컬리 데이터플랫폼팀은 사실과 데이터를 기반으로 의사결정하기 위해 데이터 공급의 중요성을 인지하고, 데이터 처리의 효율성을 높이고자 BigQuery를 도입했습니다. 기존 데이터 파이프라인은 긴 지연 시간, 스토리지 부족, 느린 쿼리 응답 시간, 복잡한 데이터 적재 과정 등의 문제점을 안고 있었습니다.

특히, 실시간에 가까운 데이터 연동이 필요함에도 불구하고 최소 20분 이상의 지연이 발생했고, 증가하는 데이터를 감당하기 위한 스토리지 확보와 동시 쿼리 실행 시 발생하는 응답 지연 문제도 심각했습니다. 본 글에서는 이러한 문제점들을 중심으로 BigQuery 도입 배경과 주안점을 다루며, 다음 글에서는 도입 결과와 변화를 상세히 설명할 예정입니다.