검색 결과

“Kubernetes”20건

All Frontend Backend AI DevOps Architecture Etc

Backend
Libplanet 0.5 릴리스
Libplanet 0.5 버전 릴리스 소식을 전하며, 이번 업데이트의 핵심인 성능 및 안정성 개선 사항을 소개합니다. 특히, IBD(Initial Block Download) 속도 개선을 위해 신뢰할 수 있는 노드로부터 미리 연산된 상태 값을 받아오는 `Swarm<T>.PreloadAsync()` 기능이 추가되었습니다. 이 기능은 블록이 많이 쌓여도 IBD 작업이 오래 걸리는 문제를 해결하여 개발자가 P2P 통신 및 데이터 동기화 문제를 효율적으로 처리하도록 돕습니다. 또한, `IRandom.NextDouble()` 메서드가 제거되어 .NET Standard의 Double 타입 산술 연산 및 대입 결과의 플랫폼별 차이로 인한 잠재적 문제를 방지합니다. 이번 릴리스는 분산 P2P 온라인 멀티플레이어 게임 개발을 위한 Libplanet의 안정성과 성능을 한층 강화했습니다.
LibplanetP2P게임 개발
플라네타리움·2019년 9월 5일
Backend
[BigData] Spark 개요 정리
본 글은 BESPIN GLOBAL의 김철환님이 작성한 Spark 개요 정리 글입니다. Spark는 SQL, 스트리밍, 머신러닝, 그래프 처리를 위한 모듈을 포함하는 대규모 데이터 처리를 위한 통합 분석 엔진입니다. Hadoop, Mesos, Kubernetes 등 다양한 환경에서 실행 가능하며, 여러 데이터 소스를 지원합니다. Spark의 핵심 목표는 빅데이터 애플리케이션 개발에 필요한 플랫폼을 제공하는 것으로, 데이터 읽기, SQL 처리, 스트림 처리, 머신러닝 등 다양한 작업을 일관된 API로 수행할 수 있습니다. Spark는 영구 저장소 역할은 하지 않고 데이터를 연산하는 역할에 집중하며, 클라우드 스토리지, 파일시스템, Key-Value Store, 메시징 서비스 등 다양한 스토리지를 지원합니다. Spark Core를 포함한 5가지 주요 구성요소를 통해 분산 데이터 처리를 효율적으로 수행합니다.
SparkBigData분산 처리
베스핀글로벌·2025년 3월 25일
Backend
매드업의 DMP - 프리즘(prism)을 소개합니다
매드업의 데이터 엔지니어 칼리가 사내에 공개한 Data Management Platform(DMP)인 Prism을 소개하는 글입니다. Prism은 광고 데이터를 수집, 가공, 적재, 공급하는 전체 파이프라인을 관리합니다. 글에서는 Prism 구축 및 운영 과정에서의 고민과 앞으로의 방향성을 다룹니다. 특히 광고 데이터 수집 및 적재, 데이터 소비, 그리고 Prism V1의 성장 한계와 V2로의 전환 과정을 상세히 설명하며, 앞으로 해결해야 할 과제들을 제시합니다. 이 글은 데이터 파이프라인 구축 및 운영 경험을 공유하며, DMP 시스템 설계 및 발전에 대한 인사이트를 제공합니다.
DMPPrism데이터 파이프라인
매드업·2023년 3월 19일
Backend
쿠폰 발급 RabbitMQ도입기
이 글은 쿠폰 발급 시스템에서 기존 Redis Worker 방식의 한계를 극복하고 RabbitMQ를 도입하게 된 배경과 과정을 설명합니다. 기존 Redis Worker는 단순 처리에는 적합했으나, 기능 확장성과 대규모 트래픽 처리에서 아쉬움이 있었습니다. 특히 세일 기간 중 발생하는 과도한 요청 처리에 대한 안정성 확보가 필요했습니다. 이러한 문제를 해결하고 보다 안정적이며 확장 가능한 시스템 구축을 위해 메시지 큐(MQ) 도입을 결정했습니다. 여러 MQ 솔루션 중 AWS MSK(Kafka)와 RabbitMQ를 대상으로 PoC를 진행했으며, 최종적으로 RabbitMQ를 선정하게 된 이유와 도입 과정에 대한 상세한 내용은 이어질 예정입니다. 이 글은 백엔드 시스템의 비동기 처리 방식 개선 및 메시지 큐 도입 사례를 다룹니다.
RabbitMQMQ쿠폰 발급
올리브영·2023년 9월 18일
Backend
쿠폰 발급 RabbitMQ도입기
이 글은 쿠폰 발급 프로세스에서 Redis Worker를 사용하다가 발생한 문제점을 해결하기 위해 RabbitMQ를 도입한 경험을 공유합니다. 기존 Redis Worker 방식은 단순 처리에는 적합했지만, 기능 확장성과 대규모 행사 시 안정적인 요청 처리에 한계가 있었습니다. 이러한 배경에서 더 안정적이고 확장 가능한 메시지 큐 시스템 도입의 필요성을 느꼈습니다. 여러 MQ 솔루션 중 AWS에서 제공하는 MSK(Kafka)와 RabbitMQ를 비교 검토했으며, 최종적으로 RabbitMQ를 선정하게 된 과정과 그 이유를 설명합니다. 이를 통해 대규모 트래픽 상황에서도 안정적인 쿠폰 발급 시스템을 구축하는 방안을 제시합니다.
쿠폰 발급MQRabbitMQ
올리브영·2023년 9월 18일
Backend
[post Server!] 당신의 상상은 현실이 된다! 계정플랫폼팀으로 어서 오세요~
카카오 계정 플랫폼팀의 API플랫폼파트에서 서버 개발자를 모집하는 글입니다. 이 파트는 카카오 및 공동체 서비스, 그리고 외부 서드파티 서비스까지 카카오 계정으로 편리하게 이용할 수 있는 플랫폼을 개발하고 운영합니다. 주요 업무로는 대용량 트래픽을 처리하는 API 플랫폼 개발 및 안정적인 운영, 카카오 로그인과 같은 OAuth 2.0 기반 소셜 로그인 서비스 제공 등이 있습니다. 지원 자격으로는 3년 이상의 Java 기반 웹 서비스 개발/운영 경험, Linux 환경에서의 웹 서비스 개발/운영 경험, MySQL 등 RDBMS 경험이 요구됩니다. Spring Framework, Spring Security, REST API 설계, 비동기 아키텍처, Docker, Kubernetes 경험이 있다면 우대합니다. 이 글은 카카오의 기술적 도전과 함께 성장할 개발자를 찾는 내용을 담고 있습니다.
카카오 로그인API 플랫폼OAuth 2.0
카카오·2022년 10월 31일
Backend
대규모 트래픽 속 Kafka 를 이용한 개인정보 암호화 및 스키마 전환
삼성 계정은 18억 명의 사용자를 대상으로 24/7 안정적인 서비스를 제공하며, 모든 작업은 무중단으로 진행됩니다. 본 글에서는 이러한 제약 조건 하에서 사용자 데이터베이스의 개인 식별 정보를 Kafka를 활용하여 서비스 영향 없이 스키마를 전환하고 컬럼 단위로 암호화한 경험을 공유합니다. 서비스 무중단 암호화 및 마이그레이션을 위해 운영 DB를 복제하여 오프라인 상태의 복제 DB를 생성하고, 여기서 데이터 암호화 및 마이그레이션을 진행했습니다. 이후 암호화된 DB를 바라보는 서비스들을 미리 배포하고 트래픽을 전환하는 방식으로 설계되었습니다. 이 과정에서 삼성전자 표준 암·복호화 솔루션인 D-KMS를 사용하여 최악의 상황에서도 개인정보를 안전하게 보호하는 방법을 모색했습니다.
Kafka개인정보 암호화스키마 전환
삼성전자·2025년 5월 21일
Backend
[Ka-reer Up!] 카카오 비즈니스의 중심 공통플랫폼 개발파트
카카오 비즈니스 플랫폼의 공통 요소를 개발 및 운영하는 공통플랫폼 개발파트에 대한 글입니다. 이 파트에서는 비즈니스 사업자들을 위한 계정 체계, 빌링 및 정산, 사업자 및 콘텐츠 심사 도구 등 비즈니스에 필수적인 공통 모듈을 개발합니다. 지향점은 더 많고 안정적이며 쉬운 개발 환경 제공이며, 마이크로 프론트엔드 아키텍처를 통해 완결된 서비스 환경을 제공하고 SaaS로의 진화를 목표로 합니다. 기술 스택으로는 서버 개발에 Java, Spring, Kotlin을 사용하며, 데이터 저장소로는 MySQL, MongoDB, Hive, ES를 활용합니다. 또한 Airflow, Kafka, RabbitMQ 등 다양한 오픈소스를 사용합니다. 프론트엔드 개발에는 JavaScript, React, TypeScript(SPA)를 사용하며, 상태 관리 라이브러리로 Redux, MobX를 활용합니다. CI/CD 환경은 Kubernetes, Docker, Jenkins, Rundeck을 이용합니다. 업무 방식으로는 2주 단위의 스프린트 기반 스크럼을 도입하고 있으며, 장애 발생 시 회고를 통해 재발 방지 대책을 수립합니다.
JavaSpringKotlin
카카오·2022년 9월 5일
Backend
NAVER Glace 신입 적응기: UML을 활용한 코드 리팩토링 및 코드 리뷰
NAVER Glace 신입 데이터 엔지니어의 적응기를 다룬 글입니다. 신입사원은 코드 커버리지 수준을 높이는 과제를 맡아 이를 자동화하고 PR 및 커밋 단위로 반복 수행하기 위한 Code coverage reporting 시스템을 개발했습니다. 시스템 설계 및 구현 과정에서 언어별 테스트 유틸리티 활용(Python의 pytest-cov), GitHub 커밋 메시지 첨부, 테스트 파이프라인 연결(GitHub Hook과 Kubernetes 연동) 등의 내용을 다룹니다. 특히, PR에 새 커밋이 생기면 테스트 컨테이너를 자동으로 생성하도록 설정하는 과정을 설명하며, UML을 활용한 코드 리팩토링 및 코드 리뷰의 중요성을 강조합니다. 이를 통해 코드 품질 향상과 개발 생산성 증대를 목표로 합니다.
코드 리팩토링코드 리뷰UML
네이버플레이스·2022년 6월 17일
Backend
대규모 트래픽 속 Kafka 를 이용한 개인정보 암호화 및 스키마 전환
삼성 계정은 18억 명 이상의 사용자를 보유한 글로벌 서비스로, 24/7 무중단 운영 환경에서 대규모 트래픽을 처리합니다. 본 글에서는 이러한 환경에서 사용자 데이터베이스 내 개인 식별 정보를 Kafka를 이용하여 서비스 영향 없이 스키마 전환 및 컬럼 단위 암호화를 진행한 경험을 공유합니다. 서비스 무중단 암호화 및 마이그레이션이라는 제약사항을 극복하기 위해, 운영 DB를 복제하여 오프라인 상태의 복제 DB를 생성하고, 여기서 데이터 암호화 및 마이그레이션을 진행했습니다. 이후 암호화된 DB를 바라보는 서비스들을 미리 배포하고 트래픽을 전환하는 방식으로 안전하게 작업을 완료했습니다. 이 과정에서 D-KMS 솔루션을 활용하여 데이터 보안을 강화했습니다.
Kafka개인정보 암호화스키마 전환
삼성전자·2025년 5월 21일
Backend
Cloud Hadoop 1.4 버전 릴리즈 확인
본 글은 Cloud Hadoop 1.4 버전의 신규 릴리즈를 소개하고, 해당 버전을 사용하여 클러스터를 생성하는 과정을 설명합니다. Apache Ambari UI를 통해 클러스터를 확인하고, 커버로스 인증 구성 환경을 테스트한 후 Apache Ranger UI에 접속하는 방법을 안내합니다. Cloud Hadoop 1.4는 오픈소스 Apache Hadoop 3.1 기반 환경을 제공하며, 커버로스 인증과 Apache Ranger를 지원합니다. 커버로스는 보안 네트워크 인증 프로토콜이며, Apache Ranger는 보안 정책을 중앙에서 관리하는 프레임워크입니다. 또한, Cloud Hadoop 상품이 Hadoop, HBase, Spark, Hive, Presto 등 다양한 오픈소스 프레임워크를 쉽게 구축할 수 있도록 지원함을 언급합니다.
Cloud HadoopApache HadoopApache Ambari
네이버클라우드플랫폼·2020년 12월 15일
Backend
messaging-hub 트러블 슈팅
LINE+ ABC Studio에서 개발 중인 범용 메시징 플랫폼 'messaging-hub'의 운영 과정에서 발생한 트러블 슈팅 사례를 공유하는 글입니다. 주요 사례로는 불안정한 네트워크 환경에서 발생하는 메시지 누락 문제 해결을 위해 연결 및 수신 확인 절차를 확립한 내용, 예상치 못한 Out Of Memory 오류 발생 시 쿠버네티스 QoS 클래스 변경 및 JVM 옵션 설정을 통해 해결한 경험, 그리고 웹소켓 연결이 네트워크 장애 없이 끊기는 현상에 대한 분석 및 해결 방안 모색 과정이 다뤄집니다. 이 글은 실제 서비스 운영 중 마주할 수 있는 다양한 기술적 난관과 그 해결 과정을 구체적인 사례를 통해 설명하며, 안정적인 메시징 시스템 구축을 위한 실질적인 인사이트를 제공합니다.
messaging-hub트러블 슈팅메시징 플랫폼
라인·2022년 10월 14일
Backend
소프트웨어 정의 스토리지 2편: 구성과 종류
소프트웨어 정의 스토리지(SDS)의 개념과 특성을 다룬 1편에 이어, 본 글에서는 SDS의 구성과 종류에 대해 상세히 설명합니다. SDS는 표준화된 인터페이스를 통해 이기종 스토리지 하드웨어 자원을 중앙화하여 통합 스토리지 풀을 쉽게 구성할 수 있게 합니다. 이를 통해 대규모 환경 운영 자동화, 하드웨어 선택의 유연성 확보, 라이선스 관리 편의성 증대 등의 이점을 얻을 수 있습니다. SDS는 크게 어플라이언스 형과 소프트웨어 형 두 가지 방식으로 판매되며, 어플라이언스 형은 스토리지 하드웨어와 함께 제공되어 안정성과 성능이 우수하다는 장점이 있습니다. 본 글은 SDS의 기술적 구성과 다양한 형태를 이해하는 데 도움을 줄 것입니다.
SDS소프트웨어 정의 스토리지스토리지
글루시스·2021년 8월 19일
Backend
Spark, Mesos, Zeppelin, HDFS를 활용한 대용량 보안 데이터 분석
라인플러스 게임 보안팀은 대규모 게임 이용자 증가에 따른 어뷰징 문제에 대응하기 위해 Spark, Mesos, Zeppelin, HDFS를 활용한 대용량 보안 데이터 분석 환경을 구축했습니다. 기존 방식으로는 수십 분에서 수백 분이 소요되던 빅데이터 처리를 10분 이내로 단축하여, 다양한 형태의 로그 데이터를 연관 분석하고 어뷰저를 신속하게 식별할 수 있게 되었습니다. 이 시스템은 15TB 가량의 데이터를 10분 이내에 처리하며, 게임, 엑세스, 빌링 데이터 간의 연관 분석을 통해 위험 사용자들을 빠르게 조회할 수 있는 안정적인 분석 환경을 제공합니다. 이를 통해 게임 서비스의 안정성을 확보하고 정상 사용자를 보호하는 데 기여합니다.
SparkMesosZeppelin
라인·2015년 8월 3일
Backend
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
토스증권은 Active-Active 구성으로 Kafka를 운영하며, 이를 위해 양방향 데이터 미러링의 중요성을 강조합니다. Apache Kafka의 MirrorMaker2(MM2)와 같은 오픈소스 도구는 클러스터 간 데이터 복제를 지원하지만, 토스증권은 동일한 토픽 이름으로 미러링하여 사용자 편의성을 높이고자 하는 목표에 MM2가 한계가 있음을 발견했습니다. 이에 토스증권은 Kafka Connect의 Sink Connector 기반으로 자체적인 양방향 데이터 미러링 도구를 개발했습니다. 이 도구는 동일한 토픽명으로 양방향 미러링 기능을 제공하며, 이를 통해 사용자가 데이터 센터 위치에 상관없이 단일 토픽으로 데이터에 접근할 수 있도록 하여 Kafka 이중화 구성의 복잡성을 줄이고 사용자 경험을 향상시켰습니다.
Apache Kafka데이터센터 이중화MirrorMaker2
토스·2025년 1월 14일
Backend
삼성계정 서비스, 대규모 트래픽 속 Amazon MSK 를 이용한 무 중단 Database 스키마 전환
삼성 계정 서비스는 18억 명의 사용자를 기반으로 24/7 대규모 트래픽을 처리하며, 서비스 무중단이라는 제약사항 속에서 사용자 데이터베이스의 개인 식별 정보 암호화 및 스키마 전환을 성공적으로 수행했습니다. 이 과정에서 Amazon MSK (Managed Streaming for Kafka)를 활용하여 서비스 영향 없이 데이터를 안전하게 이전하고 컬럼 단위 암호화를 적용했습니다. D-KMS 솔루션을 사용하여 최악의 상황에서도 개인정보를 보호할 수 있는 방안을 마련했으며, 운영 중인 데이터베이스에 직접적인 부하를 주지 않고 I/O 문제를 최소화하는 아키텍처를 설계했습니다. 이를 통해 대규모 서비스 환경에서도 안정적인 데이터 관리 및 보안 강화를 달성했습니다.
Amazon MSKDatabase 스키마 전환무중단
AWS·2025년 8월 8일
Backend
Data Projects에서 I/O Optimization
이 글은 Data Projects에서 I/O 최적화를 통해 성능을 개선하는 방법에 대해 다룹니다. 데이터 처리 과정에서 발생하는 I/O 병목 현상을 이해하고, 이를 해결하기 위한 다양한 전략을 제시합니다. 구체적인 최적화 기법으로는 데이터베이스 쿼리 튜닝, 인덱스 활용, 캐싱 전략 적용, 비동기 I/O 처리 등이 포함될 수 있습니다. 또한, 데이터 로딩 및 저장 방식을 효율화하여 전반적인 시스템 응답 속도를 향상시키는 방안을 모색합니다. 궁극적으로는 대규모 데이터셋을 다루는 프로젝트에서 효율적인 I/O 처리가 시스템 성능과 사용자 경험에 미치는 중요성을 강조하며, 실질적인 성능 개선을 위한 가이드라인을 제공합니다.
Data ProjectsI/O Optimization데이터베이스
데보션·2024년 8월 26일
Backend
[이렇게 개발했습니다] Simple & Easy Notification Service #2 : 메시지 발송 처리를 위한 Kafka 사용기
네이버 클라우드 플랫폼의 SENS 메시지 발송 모듈에서 Kafka를 도입한 경험을 공유합니다. 높은 트래픽 처리, 메시지 누락 방지, 중복 발송 방지를 위해 메시지 큐로 Kafka를 선택했습니다. Kafka 클러스터 구성 시 장애 포인트 관리, Exactly Once Semantic 보장을 위한 애플리케이션 레벨 처리, 그리고 초당 트래픽 및 메시지 크기를 고려한 클러스터 스케일링 및 파티션 분배 전략의 중요성을 강조합니다. Kafka 도입을 통해 안정적이고 효율적인 메시지 발송 시스템 구축 방안을 제시합니다.
Kafka메시지 큐메시지 발송
네이버클라우드플랫폼·2021년 12월 29일
Backend
Spring WebClient에서 새어나가는 메모리 잡기
Spring WebClient를 사용한 애플리케이션에서 발생한 메모리 누수 및 서비스 장애 문제를 해결하는 과정을 다룹니다. 장애 발생 시점의 JVM 지표(G1 Eden Space, GC 동작 빈도, CPU 사용량)를 분석하여 메모리 누수 가능성을 확인했습니다. GC가 반복적으로 수행되었음에도 메모리 확보에 실패한 정황을 포착했으며, 이는 메모리 누수의 강력한 증거로 판단되었습니다. 문제의 근본 원인을 파악하기 위해 힙 덤프 분석을 시도하는 과정까지 설명하고 있습니다.
SpringWebClient메모리 누수
하이퍼커넥트·2022년 10월 7일
Backend
데이터는 흐른다, 연결될 준비가 되었다면
네이버 웹툰에서 개발한 Cohort System을 소개하는 글입니다. 이 시스템은 유저 세그먼트를 손쉽게 정의하고 Braze, IDS, GAM 등 다양한 액션 채널과 자동 연동하는 기능을 제공합니다. 조건 기반 필터링, ML 모델 연동 등 복잡한 방식으로 세그먼트를 생성하고, 중복 제거 로직을 통해 효율성을 높였습니다. 발표에서는 시스템 구조, 기술 스택, 실제 마케팅 캠페인 사례를 공유하며 데이터에서 인사이트 도출 및 액션 전환까지의 과정을 자동화하는 방법을 설명합니다. 데이터 엔지니어, 백엔드 엔지니어, ML 엔지니어, 데이터 사이언티스트, 마케터, PM 등 다양한 직군의 개발자 및 실무자에게 유용한 정보를 제공합니다.
데이터 파이프라인코호트 시스템유저 세그먼트
네이버·2025년 6월 26일