elasticsearch scroll, slice(sliced scroll) 성능 비교

이 글은 Elasticsearch의 scroll API와 slice 기능을 활용하여 대량의 데이터를 조회할 때의 성능을 비교 분석합니다. 약 7억 건의 상품 데이터를 대상으로 scroll 단일 쓰레드 방식과 slice 기능을 활용한 병렬 처리 방식의 성능을 측정했습니다.

테스트 결과, slice 기능을 사용하여 병렬 처리 개수를 늘릴수록 TPS가 향상되고 전체 조회 시간이 단축되는 것을 확인했습니다. 특히, 컬럼 조회를 최소화했을 때 slice 기능의 성능 이점이 더욱 두드러졌습니다.

이를 통해 대량 데이터 조회 시 scroll API의 한계를 극복하고 효율성을 높이는 방법을 제시합니다.