쿠버네티스 네이티브 워크플로를 이용한 대용량 스트리밍 파이프라인 검증 자동화 - 2편

이 글은 LINE 광고 플랫폼에서 대용량 스트리밍 파이프라인의 성능 검증 자동화를 위해 Tekton을 활용한 경험을 공유합니다. 지난 편에서 스트리밍 애플리케이션의 통합 테스트 환경 구축의 중요성을 강조했으며, 이번 편에서는 쿠버네티스 네이티브 워크플로 도구인 Tekton을 사용하여 성능 테스트를 수행한 구체적인 방법을 다룹니다.

테스트 대상인 Apache Heron 기반의 전처리기 애플리케이션 구조를 소개하고, Kafka에서 데이터를 읽어 처리 후 적재하는 Spout, Transformer, Publisher 세 단계로 구성된 애플리케이션의 튜닝 포인트를 설명합니다. Tekton을 통해 반복적인 성능 테스트 작업을 자동화하고 효율적으로 관리하는 방안을 모색합니다.