효율적인 하둡 플랫폼 운영을 위한 “Hive 사용량 통계 레포트” 개발기

G플레이스데이터개발 팀은 Data Lakehouse 운영 효율성을 높이기 위해 Hive 사용량 통계 레포트를 개발했습니다. Hive와 Trino를 SQL on Hadoop 솔루션으로 활용하며, 시스템 사용 현황 모니터링의 중요성을 강조합니다.

과도한 데이터 조회, 불필요한 데이터 적재, 과거 배치 작업 잔존 등 비효율적인 사용 패턴을 파악하여 데이터 저장 및 ETL 비용을 절감하고 시스템을 최적화하는 것을 목표로 합니다. 사용자 인터뷰 방식의 한계를 극복하고, Hive 쿼리 이력 및 계정 데이터를 분석하여 비정상적인 사용 사례를 쉽게 발견하고 데이터 기반의 직관적인 커뮤니케이션을 가능하게 합니다.

이를 통해 시스템 확충 및 개선 작업의 우선순위를 설정하고, 여러 팀이 원활하게 시스템을 사용할 수 있도록 지원합니다.