엘라스틱서치 인덱스와 샤드 분할

본 글은 엘라스틱서치에서 대용량 인덱스 구성 시 발생하는 고민, 즉 하나의 인덱스를 여러 샤드로 나눌 것인지, 아니면 인덱스 자체를 여러 개로 쪼갤 것인지에 대한 경험을 공유합니다. 상품 데이터가 급증하는 상황에서 다나와는 기존 검색 엔진에서 사용하던 인덱스 분할 기법을 엘라스틱서치에도 적용하는 방안을 모색합니다.

적절한 샤드 크기는 수 GB에서 수십 GB 사이(시계열 데이터의 경우 20~40GB 권장)로 설정하고, 노드당 샤드 개수는 힙 메모리 크기에 비례하지만 과도한 샤드 할당은 성능 저하를 유발할 수 있음을 시사합니다. 글에서는 인덱스당 최대 12개의 샤드를 설정하는 시나리오를 제시하며, 대용량 데이터 처리 시 성능 최적화를 위한 인덱스와 샤드 분할 전략의 중요성을 강조합니다.