Airflow를 활용하여 아름다운 데이터 파이프라인 구성하기 / if(kakao)2019

카카오페이지에서 Airflow를 활용하여 데이터 파이프라인을 구성한 경험을 공유하는 if(kakao)2019 발표 내용입니다. Airflow는 데이터 파이프라인 생성 및 관리를 위한 플랫폼으로, Oozie, Azkaban 등과 비교하여 카카오페이지가 Airflow를 선택한 이유를 설명합니다.

발표에서는 Airflow의 주요 개념, 구조, 기본 활용법을 소개하고, 가용성을 높이기 위한 구성 방안을 제시합니다. 또한 카카오페이지만의 고유한 Airflow 활용 방식을 시연하며, 데이터 분석 문제 해결을 위한 워크플로우 시스템의 필요성을 강조합니다.