데이터 분석을 통해 하둡 시스템 개선하기 #2

이 글은 하둡 시스템 개선 프로젝트의 두 번째 주제인 데이터웨어하우스 테이블 구조 최적화에 대해 다룹니다. 첫 번째 포스팅에서 capacity scheduler의 큐별 자원 할당 비율 최적화 분석을 소개한 데 이어, 이번 글에서는 데이터웨어하우스 테이블 구조 최적화 분석 결과와 실제 적용 및 검증 내용을 설명합니다.

데이터 분석을 위해 Python의 sqlparse 모듈을 사용하여 쿼리 이력 로그에서 SQL 쿼리문을 파싱하고, 테이블 간의 조회 관계를 분석하여 공통 사용 비율을 계산했습니다. 이를 통해 데이터웨어하우스 테이블 구조를 최적화하여 시스템 성능을 개선하는 방안을 제시합니다.