Elastic Stack과 Lambda를 활용한 데이터 모니터링 시스템 구축

네이버쇼핑은 상품 데이터 처리 과정에서 문제가 발생했을 때 원본 데이터와 서버 로그를 확인하는 비효율적인 작업을 해왔습니다. 이를 개선하기 위해 Elastic Stack과 Lambda를 활용한 데이터 모니터링 시스템을 구축했습니다.

이 시스템은 데이터 처리 단계별 메타데이터와 로그를 수집하여 상품 번호로 검색 시 처리 과정과 각 단계별 로그를 한눈에 파악할 수 있게 합니다. 또한, Kafka의 특정 offset으로 쉽게 되돌릴 수 있는 기능을 제공하며, 입점 업체별 필드 변경량까지 파악 가능합니다.

이를 통해 데이터 처리의 모든 단계를 효율적으로 관리하고 개발 편의성을 증진시켜 서비스 운영 및 개발에 도움을 줄 수 있게 되었습니다.