마이데이터 플랫폼의 대용량 데이터 처리 개선! 구경 한번 해볼래?

카카오페이 마이데이터 플랫폼 개발팀은 사용자 금융 데이터 수집 이력 증가로 인한 대용량 데이터 처리 문제를 해결하기 위해 기존 시스템을 재설계했습니다. 주요 문제점은 높은 쿼리 처리 속도(QPS), 부족한 데이터 저장 용량, 긴 통계 배치 수행 시간이었습니다.

이를 해결하기 위해 데이터 분산 저장, 파일 백업, Palsonic을 이용한 효율적인 통계 계산 등의 방법을 도입했습니다. 이러한 개선을 통해 플랫폼의 성능과 처리 능력을 향상시켜 대용량 데이터를 효과적으로 관리할 수 있게 되었습니다.