[if kakao 2022] Batch Performance를 고려한 최선의 Reader

본 글은 if(kakao) 2022에서 발표된 'Batch Performance 극한으로 끌어올리기' 세션의 내용을 기반으로, 대량의 데이터를 배치로 처리할 때 성능에 큰 영향을 미치는 ItemReader의 최적화 방안을 다룹니다. 카카오페이의 실제 사례를 통해 2017년 대비 2022년에 하루 평균 데이터 Access 횟수가 25만 건에서 1억 건으로 폭증하는 상황에서 배치 성능 개선의 중요성을 강조합니다.

특히, 전체 배치 성능의 80% 이상을 좌우한다고 추정되는 데이터 Read(ItemReader) 과정의 병목 현상을 해결하기 위한 노하우를 공유하며, 10억 건의 데이터 중 일부만 읽는 복잡한 상황에서의 성능 개선 전략을 제시합니다. 이는 대규모 데이터 처리 시스템의 효율성을 높이는 데 기여할 수 있는 실질적인 정보를 제공합니다.