AWS OpenSearch를 사용한 EFK Stack 구축하기

이 글은 올리브영에서 재고 변경 이력 관리를 위해 AWS OpenSearch 기반의 EFK(Elasticsearch/OpenSearch, FluentBit, Kibana) 스택을 구축한 경험을 공유합니다. 기존에 Datadog을 사용하고 있음에도 불구하고, 재고 데이터의 복잡성(30개 이상의 이벤트 타입, 하루 최소 천만 건 이상의 변경)과 재고 정합성 확보의 중요성, 그리고 재고 API 사용 도메인 증가에 따른 확장성 요구로 인해 별도의 로그 시스템 구축이 필요했습니다.

OpenSearch EFK 스택은 개발자가 로그 데이터를 자유롭게 구성하고 분석할 수 있는 커스터마이징 가능성, Index Lifecycle Management를 통한 비용 효율성, 그리고 REST API 지원을 통한 유연한 데이터 활용 및 확장성을 제공합니다. 이를 통해 재고 변경 이력 관리 및 추적을 용이하게 하고, 관련 서비스의 확장성을 확보하는 것을 목표로 합니다.