bigquery 저장소 최적화 진행기

본 글은 하이퍼커넥트에서 BigQuery에 저장되던 대용량 로그 데이터를 비용 효율적인 Google Cloud Storage(GCS)로 아카이브한 경험을 공유합니다. 클라우드 환경에서 데이터 레이크는 빈번한 데이터 생성 및 조합으로 인해 추적 및 관리가 어려워지며, 특히 BigQuery의 저장 비용은 데이터가 누적될수록 상당한 부담이 될 수 있습니다.

BigQuery는 90일간 수정되지 않은 데이터를 장기 스토리지로 분류하여 비용을 절감하지만, 여전히 GCS의 Nearline Storage와 유사한 비용이 발생합니다. 하루 2TB씩 쌓이는 테이블의 경우 월 380만원 이상의 비용이 발생할 수 있어, 대용량 테이블은 보관 기간 정책 수립 후 삭제하거나 GCS로 아카이브하는 것이 경제적입니다.

이를 통해 데이터 저장 비용을 최적화하는 방안을 제시합니다.