검색 Indexing 파이프라인 개선기

이 글은 검색 Indexing 파이프라인의 비효율성과 문제점을 개선하는 과정을 다룹니다. 기존 파이프라인은 서비스별 로직 분산으로 인한 생산성 저하, 서비스 DB 직접 의존성으로 인한 불안정성, 전체 색인 시 발생하는 높은 비용, 코드 확인 없이는 파악하기 어려운 가시성 문제를 안고 있었습니다.

이를 해결하기 위해 설정 기반 인터페이스를 통한 자동화, 외부 DB 의존성 감소, 풀 색인 부담 완화 및 비용 절감, 고가용성 시스템 구축을 목표로 삼았습니다. 특히, YAML 기반의 설정 인터페이스와 스키마 설계를 통해 누구나 기여 가능한 생산성 높은 시스템을 구축하고, 데이터 처리의 안전성과 유연성을 확보하는 데 중점을 두었습니다.