하이퍼커넥트

RSS

게시글: 112
등록: 2026년부터

All Frontend Backend AI DevOps Architecture Etc

Backend
Flink SQL 도입기
이 글은 Azar Matching Dev Team에서 이벤트 스트리밍 처리를 위해 Flink SQL을 도입한 경험을 공유합니다. 기존에 Kafka를 소스 및 싱크로 사용하는 애플리케이션 코드를 직접 작성하는 방식으로 Flink를 활용했으나, CPU 사용량이 높고 유지보수가 어려운 레거시 Flink 앱의 문제에 직면했습니다. 이 앱은 여러 매치 이벤트를 조인하고 조건부 로직을 수행하는 모놀리식 구조였으며, 인프라 변경으로 인해 정상 동작하지 않는 문제가 발생했습니다. 이를 해결하기 위해 Flink SQL을 도입하여 SQL만으로 이벤트 스트리밍 처리를 구현하는 방안을 모색했습니다. Flink SQL은 애플리케이션 코드 작성 없이 SQL 쿼리로 스트리밍 앱을 개발할 수 있게 하여, 레거시 시스템의 유지보수 부담을 줄이고 효율성을 높일 수 있는 대안으로 제시됩니다. 글에서는 Flink SQL 도입 이유와 클러스터 구축 및 운영 경험을 다룹니다.
Flink SQL이벤트 스트리밍데이터 처리
하이퍼커넥트·2025년 2월 18일
Backend
Spring Transactional Rollback Deep Dive
이 글은 Spring의 @Transactional 어노테이션에서 트랜잭션 롤백이 발생하는 경우를 심층적으로 분석합니다. 특히 Checked Exception과 Unchecked Exception이 롤백에 미치는 영향을 예시와 함께 설명하며, 트랜잭션 프록시의 동작 방식과 트랜잭션과 스레드의 상관관계까지 다룹니다. Spring의 기본 롤백 설정이 RuntimeException과 Error와 같은 Unchecked Exception에 맞춰져 있음을 설명하고, try-catch 블록으로 예외를 잡아도 롤백이 발생하는 메커니즘을 'rollback-only' 마킹 개념을 통해 이해하도록 돕습니다. 이를 통해 개발자들이 트랜잭션 관리 시 발생할 수 있는 혼란을 줄이고 정확한 예외 처리를 할 수 있도록 가이드합니다.
SpringTransactionalRollback
하이퍼커넥트·2025년 2월 10일
Backend
아자르 Data Lifecycle Policy 개발하기
글로벌 서비스 아자르에서 유저 데이터의 효율적인 보관 및 삭제를 위한 Data Lifecycle Policy 시스템 개발 과정을 소개합니다. 개인정보 보호 및 법적 대응을 위해 유저 탈퇴 또는 장기 미접속 시 데이터를 일정 기간 보관 후 삭제하는 정책을 구현했습니다. 데이터는 성격과 필드 단위로 보관 기간을 다르게 설정할 수 있으며, 모든 팀의 애플리케이션 및 분석용 데이터를 포함합니다. 시스템은 이벤트 기반 아키텍처로 설계되었으며, 예약부와 처리부로 나뉩니다. 유저 개인정보 삭제 예약 시 스케줄을 예약하고, 배치 처리를 통해 카프카 이벤트를 발행하여 데이터 삭제를 진행합니다. 이는 복잡한 삭제 트랜잭션 관리의 어려움과 대량 데이터 처리를 위한 REST API 호출의 한계를 극복하기 위한 방안입니다. 마이크로 서비스 아키텍처 환경에서 각 도메인의 데이터 책임을 다하고 테이블 변경에 유연하게 대응하는 것을 목표로 합니다.
Data Lifecycle Policy유저 데이터개인정보 삭제
하이퍼커넥트·2024년 11월 11일
Backend
하이퍼커넥트 그룹콜 미디어 서버 인프라를 소개합니다
하이퍼커넥트의 그룹 통화 서비스에 사용되는 미디어 서버 인프라를 소개하는 글입니다. 기존 라이브 스트리밍 인프라와의 차이점을 설명하며, 그룹 통화 서비스에서는 참여자 간의 양방향 미디어 송수신이 중요함을 강조합니다. 또한, 수십 명의 사용자가 동시에 소통하는 그룹 통화 서비스를 안정적으로 지원하기 위한 인프라 구조와 기술적 고려사항에 대해 다룹니다. 글은 하이퍼커넥트의 Media Server Team이 개발하고 운영하는 미디어 서버 인프라의 역할과 중요성을 설명하며, 특히 N:N 그룹 통화 기술의 복잡성과 이를 해결하기 위한 기술적 노력을 조명합니다.
그룹콜미디어 서버인프라
하이퍼커넥트·2024년 9월 25일
Backend
Jackson과 Scala 기반 Flink를 사용한 코드 리팩토링 과정에서 발생한 Serialization 관련 이슈 해결하기
이 글은 Azar Matching Dev Team에서 Scala Flink 기반의 코드를 리팩토링하는 과정에서 발생한 Jackson 및 Flink Serialization 이슈 해결 경험을 공유합니다. 핵심 내용은 Java POJO DTO를 Scala case class로 리팩토링하면서 발생한 직렬화 문제를 해결하는 데 초점을 맞추고 있습니다. 특히, Jackson 라이브러리와 Flink 스트리밍 처리 환경에서 데이터 직렬화 및 역직렬화 시 발생하는 호환성 및 성능 문제를 진단하고, 이를 해결하기 위한 구체적인 코드 수정 및 설정 변경 과정을 상세히 설명합니다. 이를 통해 레거시 Java 코드를 Scala로 전환하며 발생하는 기술적 난관을 극복하고 코드베이스의 현대화 및 유지보수성 향상을 달성한 과정을 보여줍니다.
JacksonScalaFlink
하이퍼커넥트·2023년 11월 20일
Backend
고성능 ML 백엔드를 위한 10가지 Python 성능 최적화 팁
이 글은 Python으로 작성된 ML 백엔드 서버의 성능을 최적화하는 10가지 기법을 소개합니다. Python은 ML 분야에서 널리 사용되지만 느린 실행 속도가 단점이며, 이를 해결하기 위해 C++, Go 등으로 포팅하는 대신 Python 자체를 빠르게 사용하는 방법을 다룹니다. 특히 대량의 데이터를 다루는 ML 워크로드에 특화된 최적화 기법과 ML 백엔드에서 자주 사용되는 서드파티 라이브러리를 효과적으로 활용하는 방법을 하이퍼커넥트의 실제 사례와 함께 공유합니다. Pypy, Numba, C binding과 같이 유지보수성이 떨어지는 방법은 제외하고, 코드 몇 줄 수정으로 응답 시간을 절반 이상 단축할 수 있는 실용적인 팁들을 제공합니다. CPython 구현을 기준으로 설명하며, GC 튜닝 등 다양한 최적화 방안을 제시합니다.
PythonML 백엔드Performance Optimization
하이퍼커넥트·2023년 5월 30일
Backend
ksqlDB Deep Dive
본 글은 Azar API Dev Team의 Dante.R이 작성한 ksqlDB 심층 분석 글로, Kafka Streams 기반의 Event Streaming SQL Engine인 ksqlDB의 동작 원리와 활용 예제를 소개합니다. Kafka Streams가 자바 코드로 이벤트 스트리밍 기능을 구현하는 것과 달리, ksqlDB는 SQL을 사용하여 스트림을 생성하고 처리할 수 있어 개발 생산성을 크게 향상시킵니다. 특히 이벤트 기반 아키텍처에서 개별 이벤트만으로는 파악하기 어려운 전체 이벤트 플로우를 ksqlDB를 통해 JOIN 연산 등으로 쉽게 추적하고 분석할 수 있다는 점을 강조합니다. 예를 들어, 쇼핑몰의 주문 및 결제 이벤트를 JOIN하여 전체 주문 처리 과정을 파악하는 시나리오를 제시하며 ksqlDB의 유용성을 설명합니다. 또한, ksqlDB의 기반 기술인 Kafka Streams의 동작 원리, 즉 Kafka Consumer를 통한 이벤트 소비 및 StreamTask를 통한 파티션별 이벤트 스트림 처리 방식에 대해서도 간략히 다룹니다.
ksqlDBKafka StreamsEvent Streaming
하이퍼커넥트·2023년 3월 20일
Backend
Junior 개발자의 글로벌 서비스 경험기 2탄
하이퍼커넥트 아자르 스튜디오 Android 팀의 주니어 개발자들이 글로벌 서비스 운영 경험을 공유하는 글입니다. 네트워크 속도가 느린 국가를 고려한 캐싱 전략과 이미지 최적화 노력, 그리고 리모컨을 활용한 A/B 테스트 경험을 다룹니다. 특히, 인도와 같이 네트워크 환경이 좋지 않은 국가의 사용자들을 위해 API 결과값을 메모리 캐싱하고 자체 캐시 클래스를 구현한 사례를 소개합니다. 또한, 광고 영상 로딩 시간을 단축하기 위한 최적화 방안과 사용자 경험 개선을 위한 A/B 테스트 적용 경험을 공유하며, 글로벌 서비스 개발 시 고려해야 할 실질적인 문제 해결 과정을 보여줍니다.
캐싱네트워크 최적화이미지 최적화
하이퍼커넥트·2023년 1월 30일
Backend
Spring Session + Custom Session Repository 기반 세션 저장소의 메모리 누수 해결
이 글은 Azar API Dev Team에서 Spring Session과 Custom Session Repository를 사용할 때 발생한 메모리 누수 문제를 해결한 경험을 공유합니다. 트래픽 최고 시간대에 세션 Redis 클러스터의 메모리 사용량이 지속적으로 증가하는 현상을 발견하고, 12개월간의 지표 분석을 통해 메모리 누수를 확인했습니다. Spring Session의 동작 원리를 설명하며, HttpSession을 Spring Session으로 변환하고 공통 저장소에 저장하는 과정을 설명합니다. `springSessionRepositoryFilter` 빈이 `SessionRepositoryRequestWrapper`를 통해 세션을 관리하며, 필터 로직 완료 후 세션을 저장하는 메커니즘을 다룹니다. 이 글은 메모리 누수의 원인을 파악하고 해결하는 과정에 대한 상세한 내용을 담고 있습니다.
Spring SessionCustom Session Repository메모리 누수
하이퍼커넥트·2023년 1월 9일
Backend
글로벌 라이브 스트리밍을 지탱하는 하이퍼커넥트 미디어 서버 인프라를 소개합니다
하이퍼커넥트의 글로벌 라이브 스트리밍 플랫폼(하쿠나 라이브, 아자르 라이브 등)을 지탱하는 미디어 서버 인프라를 소개하는 글입니다. WebRTC 기반의 상태유지(stateful) 프로토콜 특성상, 일반적인 HTTP 기반 시스템과는 다른 확장성 전략이 필요함을 강조합니다. 글에서는 WebRTC 기술의 개요와 함께, 대규모 실시간 스트리밍 서비스를 안정적으로 제공하기 위한 미디어 서버 인프라의 구조적인 측면을 다룹니다. 특히, 수백만 명의 동시 접속자를 지원하고 끊김 없는 미디어 품질을 제공하기 위한 인프라 운영 및 개발 노력을 설명하며, 글로벌 서비스의 안정성을 위한 핵심 기술과 아키텍처를 간략하게 소개합니다.
WebRTC라이브 스트리밍미디어 서버
하이퍼커넥트·2022년 12월 30일
Backend
Spring Data Redis Repository 미숙하게 사용해 발생한 장애 극복기
본 글은 Spring Data Redis Repository를 부적절하게 사용하여 발생한 Redis latency 문제와 메모리 사용량 증가 문제를 해결한 경험을 공유합니다. 주기적으로 발생하던 서비스 API latency 급증 현상의 원인이 AWS ElastiCache 백업 시 가용 메모리가 부족하여 forkless 백업 전략이 선택되었기 때문임을 파악했습니다. 이 전략은 사용자 요청 처리 성능에 악영향을 미쳤습니다. 문제 해결을 위해 Redis 메모리 사용량을 줄이는 방안을 모색했으며, 이를 통해 latency 문제와 메모리 사용량 문제를 동시에 개선할 수 있었습니다. Spring Data Redis Repository 사용 시 주의할 점과 최적화 방안에 대한 인사이트를 제공합니다.
Spring Data RedisRedislatency
하이퍼커넥트·2022년 12월 12일
Backend
카프카 생태계 기반의 비즈니스 메트릭 생성하기
이 글은 아자르 팀이 Kafka Connect와 ksqlDB를 활용하여 Grafana 기반의 실시간 비즈니스 메트릭 모니터링 대시보드를 구축한 경험을 공유합니다. 유저들의 매치 필터 사용량과 같은 중요한 비즈니스 데이터를 실시간으로 추적하기 위해, 아자르에서는 Kafka를 통해 발행되는 애플리케이션 계층 이벤트를 활용합니다. 특히, `MatchRequestEvent`와 같은 이벤트를 Kafka로 발행하고 Schema Registry를 통해 스키마를 관리합니다. 이후 Kafka Connect를 사용하여 이벤트를 스트리밍하고, ksqlDB를 통해 실시간으로 데이터를 가공하여 Grafana에서 시각화하는 과정을 설명합니다. 이를 통해 백엔드 서비스 운영 중 발생할 수 있는 문제들을 실시간으로 감지하고 대응하는 데 기여합니다.
KafkaksqlDBGrafana
하이퍼커넥트·2022년 10월 14일
Backend
Spring WebClient에서 새어나가는 메모리 잡기
Spring WebClient를 사용한 애플리케이션에서 발생한 메모리 누수 및 서비스 장애 문제를 해결하는 과정을 다룹니다. 장애 발생 시점의 JVM 지표(G1 Eden Space, GC 동작 빈도, CPU 사용량)를 분석하여 메모리 누수 가능성을 확인했습니다. GC가 반복적으로 수행되었음에도 메모리 확보에 실패한 정황을 포착했으며, 이는 메모리 누수의 강력한 증거로 판단되었습니다. 문제의 근본 원인을 파악하기 위해 힙 덤프 분석을 시도하는 과정까지 설명하고 있습니다.
SpringWebClient메모리 누수
하이퍼커넥트·2022년 10월 7일
Backend
JVM + Container 환경에서 수상한 Memory 사용량 증가 현상 분석하기
이 글은 Kubernetes 환경에서 JVM 기반 마이크로서비스의 메모리 사용량 증가 현상을 분석합니다. 개발자가 CPU 리소스를 줄이는 최적화를 진행한 후 예상치 못한 메모리 사용량 급증 알람이 발생했습니다. 저자는 이 현상의 원인을 파헤치기 위해 Java의 Runtime.getRuntime().availableProcessors() 메서드와 cgroups의 동작 방식을 중심으로 분석을 진행했습니다. 특히, JVM이 컨테이너 환경에서 CPU 코어 수를 인식하는 방식과 cgroups가 메모리 제한을 어떻게 적용하는지에 대한 깊이 있는 탐구를 통해, CPU 제한이 오히려 메모리 사용량 증가를 유발할 수 있다는 흥미로운 결론에 도달합니다. 이는 컨테이너 환경에서 JVM 애플리케이션의 리소스 최적화 시 고려해야 할 중요한 통찰을 제공합니다.
JVMKubernetesMemory
하이퍼커넥트·2022년 7월 19일
Backend
하쿠나 입장 API 개선하기 - 괴물 API 리팩토링과 성능개선하기
하이퍼커넥트 하쿠나 스튜디오 백엔드 팀에서 서비스의 핵심 기능인 입장 API의 성능 개선 및 리팩토링 과정을 공유하는 글입니다. 4년차 서비스인 하쿠나는 유저 및 트래픽 증가로 인해 오래된 레거시 코드인 입장 API의 성능 개선이 시급한 상황이었습니다. 글에서는 APM 데이터를 통해 기존 API의 문제점을 진단하고, 이를 해결하기 위한 구체적인 개선 방안과 과정, 그리고 최종적으로 얻게 된 성능 개선 효과에 대해 설명합니다. 이를 통해 서비스의 안정성과 실시간성을 높이고 사용자 경험을 향상시키는 데 기여했습니다.
API리팩토링성능 개선
하이퍼커넥트·2022년 3월 14일
Backend
Gerrit Code Review 도입하기
본 글은 하이퍼커넥트에서 코드 리뷰 효율성을 높이기 위해 Gerrit Code Review를 도입한 과정을 상세히 설명합니다. Gerrit은 커밋 단위 리뷰와 명확한 UI를 통해 리뷰 피로도를 낮추고 빠른 피드백을 가능하게 하는 장점이 있습니다. 하지만 기존 시스템과의 연동, 특히 SSH 키 관리와 GitHub Actions 연동에 어려움이 있었습니다. 이를 해결하기 위해 Helper SSH Server를 추가하여 SSH 키를 관리하고, Git Pack Protocol Parser를 직접 구현하여 Gerrit과의 통신을 가능하게 했습니다. 또한, GitHub Actions Trigger를 위한 API 서버를 구축하고 Workflow를 정의하여 자동화된 코드 리뷰 프로세스를 완성했습니다. 이러한 과정을 통해 Gerrit 도입의 기술적인 과제들을 해결하고 효율적인 코드 리뷰 시스템을 구축한 경험을 공유합니다.
Gerrit코드 리뷰Git
하이퍼커넥트·2022년 2월 28일
Backend
Global Media Management System 개발
전 세계 230개국 이상에서 서비스를 제공하는 아자르의 Media Management System 개발 사례를 소개합니다. 기존에는 클라이언트가 AWS S3에 직접 미디어를 업로드하는 방식이었으나, 이로 인해 현황 파악이 어렵고 ISP 네트워크 이슈 발생 시 업로드가 불가능한 문제가 있었습니다. 이를 해결하기 위해 서버를 통한 업로드 방식으로 개선했으며, 전 세계 사용자에게 안정적이고 빠른 미디어 관리 시스템을 제공하는 것을 목표로 했습니다. 주요 기능으로는 업로드, 삭제, 다운로드, 히스토리 관리 등이 있으며, 부가 기능으로 CDC, JWT 인증, ISP 네트워크 이슈 대응 기능도 포함되었습니다. 구현 방식으로는 엣지 서버와 백본 네트워크를 활용하고, 대용량 업로드 처리를 위해 미디어를 작은 청크 단위로 쪼개 비동기 스트리밍 방식으로 업로드하도록 Spring Framework 기반으로 개발되었습니다.
Media Management SystemAWS S3ISP
하이퍼커넥트·2021년 12월 6일
Backend
CDC & CDC Sink Platform 개발 3편 - CDC Event Application Consuming 및 Event Stream Join의 구현
본 글은 CDC Platform에서 발행한 CDC Event를 Application에서 직접 Consuming하여 처리한 대용량 데이터 마이그레이션 사례를 소개합니다. CDC Platform은 데이터베이스 스냅샷부터 변경 사항 스트리밍까지 Producer 측면의 복잡성을 해결해주어, 개발자는 Consumer 측면의 구현에만 집중할 수 있게 합니다. 특히, RDB에서 RDB로의 무중단 무손실 회원 정보 마이그레이션 사례를 다루며, 서로 다른 테이블에서 발생하는 이벤트 스트림을 하나의 이벤트 스트림으로 통합해야 하는 '이벤트 스트림 Join' 문제를 해결하는 두 가지 방법을 제시합니다. 첫째는 Kafka Stream API를 활용한 Application Side Stream Join, 둘째는 Upsert Query를 이용한 Database Side Stream Join입니다. 각 방법의 장단점을 비교하며, 본 작업에서는 특정 요구사항에 맞춰 최적의 방법을 선택하고 구현하는 과정을 설명합니다.
CDCKafkaCQRS
하이퍼커넥트·2021년 6월 21일
Backend
CDC & CDC Sink Platform 개발 2편 - CDC Sink Platform 개발 및 CQRS 패턴의 적용
본 글은 Kafka로 전송된 CDC Platform의 Event를 DataSource로 적재하는 CDC Sink Platform 개발 사례와 CQRS 패턴 적용에 대해 소개합니다. CDC Sink Platform은 Kafka Connect를 기반으로 Kafka로부터 변경된 데이터를 읽어 DataSource로 적재하는 역할을 수행하며, Kafka Connect API, Failure Tolerance, Scalable, No Code, At-least-once Delivery 등의 특징을 가집니다. CDC Sink Platform은 Kafka로부터 변경 이벤트를 읽어 원본 형태로 변형하는 Converter 단계, 데이터를 가공하는 Transform 단계, 가공한 데이터를 DataSource에 적재하는 단계로 구성됩니다. 이를 통해 데이터 변경 이력을 효율적으로 관리하고, CQRS 패턴을 적용하여 시스템의 확장성과 성능을 개선하는 방안을 제시합니다.
CDCKafka ConnectCQRS
하이퍼커넥트·2021년 3월 22일
Backend
CDC & CDC Sink Platform 개발 1편 - CDC Platform 개발
본 글은 Application과 DataSource를 분리하는 Micro Service Architecture에서 Event Driven Architecture로 나아가기 위한 CDC Platform 개발 경험을 공유합니다. Event Driven Architecture는 느슨한 결합과 높은 확장성을 제공하지만, 신뢰할 수 있는 이벤트 흐름 구축이 선행되어야 합니다. 이를 위해 변경된 데이터를 캡쳐하여 Kafka로 전송하는 CDC Platform을 Kafka Connect 기반으로 개발했습니다. CDC Platform은 Kafka Connect API, Failure Tolerance, Scalable, No Code, At-least-once Delivery 등의 특징을 가지며, 최종 일관성 이론을 기반으로 합니다. 글에서는 CDC 개념과 함께 Application Layer Event 대신 Persistence Layer Event를 선택한 이유를 설명하며, CDC Platform 개발의 필요성을 강조합니다.
CDCChange Data CaptureEvent Driven Architecture
하이퍼커넥트·2021년 1월 11일

하이퍼커넥트

Flink SQL 도입기

Spring Transactional Rollback Deep Dive

아자르 Data Lifecycle Policy 개발하기

하이퍼커넥트 그룹콜 미디어 서버 인프라를 소개합니다

Jackson과 Scala 기반 Flink를 사용한 코드 리팩토링 과정에서 발생한 Serialization 관련 이슈 해결하기

고성능 ML 백엔드를 위한 10가지 Python 성능 최적화 팁

ksqlDB Deep Dive

Junior 개발자의 글로벌 서비스 경험기 2탄

Spring Session + Custom Session Repository 기반 세션 저장소의 메모리 누수 해결

글로벌 라이브 스트리밍을 지탱하는 하이퍼커넥트 미디어 서버 인프라를 소개합니다

Spring Data Redis Repository 미숙하게 사용해 발생한 장애 극복기

카프카 생태계 기반의 비즈니스 메트릭 생성하기

Spring WebClient에서 새어나가는 메모리 잡기

JVM + Container 환경에서 수상한 Memory 사용량 증가 현상 분석하기

하쿠나 입장 API 개선하기 - 괴물 API 리팩토링과 성능개선하기

Gerrit Code Review 도입하기

Global Media Management System 개발

CDC & CDC Sink Platform 개발 3편 - CDC Event Application Consuming 및 Event Stream Join의 구현

CDC & CDC Sink Platform 개발 2편 - CDC Sink Platform 개발 및 CQRS 패턴의 적용

CDC & CDC Sink Platform 개발 1편 - CDC Platform 개발