Polars로 데이터 처리를 더 빠르고 가볍게 with 실무 적용기

배달시간예측서비스팀은 배달의민족 서비스 내에서 배달 예상 시간 및 주문 완료까지의 시간을 예측하는 시스템을 개발합니다. 이 과정에서 대규모 데이터를 효율적이고 빠르게 처리하기 위해 Pandas와 Spark의 한계를 극복할 대안을 모색했습니다.

Pandas는 메모리 사용량과 속도, 멀티코어 지원 미흡 등의 단점이 있었고, Spark는 높은 학습 곡선과 비용 효율성 문제가 있었습니다. 이에 대한 해결책으로 Polars 라이브러리를 도입하여 성능을 개선한 경험을 공유합니다.

Polars는 Pandas보다 메모리 효율적이고 빠른 DataFrame 처리 능력을 제공하며, GB 단위 데이터 처리에 Spark를 대체할 수 있는 대안으로 제시됩니다. 특히 데이터 과학자나 MLE가 GB 단위 데이터를 처리할 때 Spark의 복잡성 없이 Polars를 활용하여 생산성을 높일 수 있음을 강조합니다.