효율적인 AWS CloudTrail 검색을 위한 데이터 파이프 라인 구성

AWS CloudTrail은 사용자 활동을 기록하지만, S3에 JSON 형식으로 저장되어 직접 조회 및 검색이 어렵습니다. 이 글은 AWS Glue와 Amazon Athena를 활용하여 CloudTrail 로그를 위한 효율적인 데이터 파이프라인을 구성하는 방법을 소개합니다.

데이터 파이프라인을 통해 이벤트 발생 시간과 저장 시간의 차이로 인한 데이터 보정 문제를 해결하고, JSON 포맷을 Parquet으로 변환하여 Amazon Athena에서의 데이터 스캔량을 최소화함으로써 비용 절감 및 조회 성능을 개선할 수 있습니다. 이를 통해 대규모 로그 데이터를 효과적으로 관리하고 분석하는 방안을 제시합니다.