게임별 다양한 지표 추출을 위한 데이터 적재 파이프라인, Bigwave

넷마블 빅데이터실 데이터엔지니어링팀은 게임별 다양한 지표 추출을 위한 데이터 적재 파이프라인 프로젝트 'Bigwave'의 발전 과정을 소개합니다. 기존 파이프라인은 IDC 서버 사용, 스냅샷 파일 또는 쿼리 방식 적재, 구글 스프레드시트를 통한 메타 관리, Airflow 스케줄러 사용 등의 특징을 가졌으나, 우선순위 적용 어려움, IDC 서버 관리 부담, 메타 관리의 비효율성, 테이블별 순차 처리로 인한 병렬 처리의 어려움 등의 이슈가 있었습니다.

이를 해결하기 위해 리소스 매니저를 활용한 게임별 테이블 수에 따른 리소스 할당 및 병렬 처리 가능한 구조로 변경하고, 컨테이너 기반으로 리소스 할당을 유연하게 관리하는 방향으로 개선을 진행했습니다.