HiveQL을 Spark SQL로 이전 시 발생하는 문제 해결하기

LINE Plus Messaging Data Eng Dev (NP) 팀에서 HiveQL 기반의 데이터 적재 작업을 Spark SQL로 이전하는 과정에서 겪었던 문제와 해결 방법을 공유하는 글입니다. Hive 환경에서는 발생하지 않았던 문제들이 Spark 설정에 따라 나타났으며, 주로 `INSERT OVERWRITE TABLE` 구문 사용 시 문제가 발생했습니다.

이 글은 작업 배경, 환경, 이전 과정, 그리고 Spark 설정에 따른 다양한 현상의 재현 방법, 원인 분석, 대응 방안을 상세히 다룹니다. LINE의 데이터 플랫폼이 Hive에서 Spark로 전환됨에 따라, 레거시 HiveQL 코드를 Spark SQL로 성공적으로 이전하여 데이터 처리의 속도와 안정성을 향상시키는 것을 목표로 합니다.