데이터 분석을 통해 하둡 시스템 개선하기 #1

이 글은 게임 데이터 분석뿐 아니라 사내 데이터를 활용하여 내부 업무 및 시스템 개선을 위한 분석 프로젝트를 진행하는 I&I실에서 하둡 시스템의 효율화를 위해 수행한 분석 프로젝트를 소개합니다. 하둡은 대규모 데이터를 안정적이고 효율적으로 처리하기 위한 분산 시스템으로, 수많은 작업을 여러 서버에 분산하여 처리합니다.

글에서는 하둡의 기본 개념과 함께, 작업의 중요도와 성격에 따라 시스템 자원을 효율적으로 할당하는 Capacity Scheduler의 동작 방식을 은행 창구 예시를 들어 설명합니다. 이를 통해 하둡 시스템의 효율적인 운영 및 개선 방안을 모색하는 내용을 다룹니다.