streaming API를 사용한 네이버페이의 대형 XLSX 파일 다운로드 구현

네이버페이는 대량의 데이터를 XLSX 파일로 다운로드하는 기능을 제공합니다. 기존 방식으로는 수십만 row의 데이터를 처리할 때 OOM(Out of Memory) 오류가 발생할 수 있습니다.

이 글은 네이버페이가 이러한 문제를 어떻게 해결했는지 설명합니다. XLSX 파일은 OOXML 표준을 따르며, 여러 XML 파일을 압축한 형태입니다.

xml 파일은 XML 오버헤드가 많아 메모리에 모두 올리면 위험합니다. xml 파일을 스트림(stream) 처리하여 메모리 사용량을 줄이고 OOM 오류를 회피하는 방식을 채택했습니다.

이를 통해 대용량 XLSX 파일 다운로드 기능을 안정적으로 구현했습니다. 통해 대용량 XLSX 파일 다운로드 기능을 안정적으로 구현했습니다.