Firehose부터 OpenSearch까지: AWS 서비스를 활용한 로그 분리 전략

이 글은 펫프렌즈 백엔드 개발팀에서 AWS OpenSearch를 활용하여 로그를 관리하는 전략을 공유합니다. 기존에는 ISM 정책을 통해 2주 이상 된 로그를 자동으로 삭제했지만, 특정 케이스에 대해 더 긴 로그 보관이 필요해지면서 로그 분리 전략을 도입하게 되었습니다.

로그 분리를 위해 MDC(Mapped Diagnostic Context)와 Logback의 조건부 처리 기능을 활용했으며, API 호출 시 특정 헤더 값을 통해 로그를 필터링하고 별도의 인덱스로 저장하는 방식을 설명합니다. 이를 통해 비용 효율성을 유지하면서도 필요한 로그를 효과적으로 관리하는 방법을 제시합니다.