분산처리 시스템 구조개선 (1)

본 글은 2년간 운영해온 분산처리 시스템의 구조개선 프로젝트에 대한 첫 번째 이야기로, 구조개선을 결정하게 된 배경과 전체 시스템 설계에 대해 다룹니다. 기존 시스템은 Apache Ignite 기반의 대용량 Push 메시지 생성 시스템으로, 단일 Engine에 모든 프로세스가 집중되어 Engine 장애 시 전체 기능이 마비되는 문제, 높은 메모리 점유율, 장애 발생 시 작업 유실 가능성, 통합 프로젝트 버전 관리로 인한 번거로운 빌드 및 배포 과정, 그리고 노드 추가 시 복잡한 설정 등의 운영 이슈를 안고 있었습니다.

이러한 문제점들을 해결하기 위해 시스템 구조개선이 필요했으며, 이 글에서는 개선 이유와 함께 시스템의 전반적인 설계 방향을 공유합니다.