주니어의 시선에서 바라본 빅데이터 클러스터 이사과정 – Pojang24 개발기

이 글은 카카오의 빅데이터 클러스터 이사 과정을 다룬 Pojang24 개발기를 소개합니다. 기존 상용 하둡 플랫폼에서 카카오 하둡 플랫폼(KHP)으로 전환하면서 수십 페타바이트 규모의 대규모 데이터 이관과 아카이빙 잡 이전을 효율적으로 처리하기 위한 시스템 개발 경험을 공유합니다.

특히, 하둡 관리자가 아닌 일반 사용자도 쉽게 데이터를 이관하고 아카이빙 작업을 관리할 수 있도록 하는 것을 목표로 했습니다. 기존 Oozie 기반 시스템의 한계를 극복하고, 사용자가 직접 데이터 플로우를 관리하며 운영 비용을 절감하는 아키텍처 개선을 통해 'Pojang24'라는 이름의 시스템을 개발했습니다.

이 시스템은 데이터 이관의 용이성과 아카이빙 시스템 개선이라는 두 가지 주요 목표를 달성하는 데 중점을 두었습니다.