로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용

쏘카 데이터엔지니어링팀에서 서버 로그를 BigQuery에 적재하는 기존 로그 파이프라인의 문제점을 정의하고 개선 방안을 적용한 과정을 공유합니다. 특히 데이터 스키마 변경으로 인한 어려움을 해결하기 위해 데이터 컨트랙트를 도입한 경험을 중심으로 설명합니다.

기존 파이프라인은 여러 종류의 로그 데이터가 혼합된 형식으로 제공되며, 각 로그 타입마다 고유한 필드를 포함하고 있습니다. 이 글은 데이터 파이프라인 구축 및 개선을 원하는 데이터 엔지니어, 데이터 컨트랙트 도입을 고려하는 개발자, 그리고 데이터 엔지니어링 업무에 관심 있는 사람들에게 유용한 정보를 제공합니다.

단일 진실 공급원(SSoT)의 중요성을 강조하며, 신뢰할 수 있는 데이터 기반 마련의 중요성을 시사합니다.