매드업

RSS

게시글: 33
등록: 2026년부터

All Frontend Backend AI DevOps Architecture Etc

Backend
최적의 메시지 브로커를 찾아서
이 글은 매드업의 광고 데이터 수집 시스템 '프리즘'에서 메시지 브로커를 선택하고 변경해 온 여정을 다룹니다. 프리즘은 여러 마이크로 서비스 간의 비동기 통신을 위해 메시지 기반 방식을 사용하며, 안정적인 메시지 전달(최소 한 번), 유연한 컨슈머 스케일링, 효율적인 메시지 분배라는 세 가지 주요 기능 요건을 충족하는 메시지 브로커를 필요로 합니다. 초기에는 SQS를 사용했으나, 이후 Kafka로 전환했으며, 현재는 RabbitMQ를 사용하고 있습니다. 각 메시지 브로커를 사용하면서 겪었던 경험과 변경 이유를 실제 사례를 바탕으로 설명하며, 최적의 메시지 브로커를 찾아가는 과정에서의 기술적 고민과 해결 방안을 공유합니다.
메시지 브로커SQSKafka
매드업·2024년 12월 27일
Backend
매드업의 DMP - 프리즘(prism)을 소개합니다
매드업의 데이터 엔지니어 칼리가 사내에 공개한 Data Management Platform(DMP)인 Prism을 소개하는 글입니다. Prism은 광고 데이터를 수집, 가공, 적재, 공급하는 전체 파이프라인을 관리합니다. 글에서는 Prism 구축 및 운영 과정에서의 고민과 앞으로의 방향성을 다룹니다. 특히 광고 데이터 수집 및 적재, 데이터 소비, 그리고 Prism V1의 성장 한계와 V2로의 전환 과정을 상세히 설명하며, 앞으로 해결해야 할 과제들을 제시합니다. 이 글은 데이터 파이프라인 구축 및 운영 경험을 공유하며, DMP 시스템 설계 및 발전에 대한 인사이트를 제공합니다.
DMPPrism데이터 파이프라인
매드업·2023년 3월 19일
Backend
Python asyncio를 활용한 효율적인 광고 데이터 수집
이 글은 파이썬의 비동기 I/O 라이브러리인 asyncio를 소개하고, 이를 활용하여 광고 데이터 수집의 효율성을 높이는 방법을 다룹니다. 동기 방식의 I/O가 네트워크 응답을 기다리는 동안 CPU가 대기 상태에 머물러 비효율적인 문제를 지적하며, asyncio가 이러한 I/O 바운드 프로세스의 성능을 어떻게 개선하는지 설명합니다. 특히, `async`와 `await` 키워드를 통해 비동기 프로그래밍을 더 쉽게 사용할 수 있게 된 점을 강조하며, 실제 광고 데이터 수집 사례를 통해 asyncio 도입 전후의 성능 향상을 보여줍니다. 멀티스레딩과의 비교를 통해 asyncio의 장점을 부각하며, 효율적인 데이터 수집 시스템 구축에 대한 인사이트를 제공합니다.
Pythonasyncio비동기 프로그래밍
매드업·2022년 12월 29일
Backend
어서 와, 광고 데이터 수집은 처음이지? (feat. kraken)
본 글은 매드업의 DMP 프리즘의 일부인 데이터 수집 플랫폼 '크라켄'의 탄생 배경을 소개합니다. 광고 매체로부터 데이터를 수집하는 과정에서 발생하는 API 호출 제약과 같은 어려움을 어떻게 극복했는지 설명합니다. 기존의 수동적인 데이터 다운로드 방식의 단점과 API 사용의 이점을 설명하며, 특히 여러 광고주 데이터를 동시에 수집할 때 발생하는 API 호출 제약 문제를 다룹니다. 크라켄은 이러한 제약을 극복하고 효율적인 데이터 수집을 가능하게 하는 플랫폼으로, 기술적인 내용은 후반부에 간략하게 다룹니다.
데이터 수집APIKraken
매드업·2022년 7월 1일
Backend
Redshift DW에서 PG DM을 만드는 여정
이 글은 AWS S3에 저장된 원시 데이터를 Athena로 쿼리하는 방식의 비효율성을 해결하기 위해 Redshift 기반의 데이터 웨어하우스(DW)를 구축하고, 이를 활용하여 PostgreSQL 기반의 데이터 마트(DM)를 만드는 과정을 다룹니다. 기존 S3+Athena 조합은 비용과 속도 측면에서 불리했으며, 특히 람다를 통한 쿼리 수행 시 발생하는 비용 문제가 컸습니다. Redshift를 도입하여 데이터 웨어하우스를 구축한 후, PostgreSQL 데이터 마트를 만들기 위한 여정을 시작합니다. 초기 Redshift 사용 시 Hash Join으로 인한 CPU 사용량 증가 및 세션 끊김 현상이 발생했지만, Hash Join의 원리를 이해하고 최적화 방안을 모색하며 효율적인 데이터 처리 시스템을 구축해 나가는 과정을 설명합니다.
RedshiftPostgreSQLData Warehouse
매드업·2022년 4월 1일
Backend
Python 3.9에 등장한 상큼한 8가지 Features
Python 3.9 버전에 새롭게 추가된 8가지 주요 기능 중 하나인 Dictionary Update 기능을 소개합니다. 기존에는 `update()` 메서드나 `**` 연산자를 사용하여 두 딕셔너리를 합쳐야 했지만, Python 3.9부터는 `|` 연산자를 사용하여 더 간결하고 직관적으로 두 딕셔너리를 병합할 수 있게 되었습니다. 이 기능은 PEP 584에 의해 제안되었으며, 딕셔너리 병합 시 키 충돌 발생 시 오른쪽 딕셔너리의 값이 우선적으로 반영됩니다. 이를 통해 코드의 가독성과 생산성을 향상시킬 수 있습니다.
PythonPython 3.9Dictionary Update
매드업·2020년 10월 19일
Backend
Flask에서 FastAPI로 간 이유
이 글은 Flask 프레임워크를 사용하던 개발자가 FastAPI로 전환하게 된 이유와 그 과정에서 얻은 장점을 공유합니다. FastAPI는 Python 3.6+ 기반의 현대적이고 고성능 웹 프레임워크로, Starlette 기반의 비동기 API 서버 지원, Pydantic을 통한 데이터 검증, OpenAPI 기반의 자동 스웨거 생성 등의 특징을 가집니다. 저자는 Flask에서 FastAPI로 전환한 주된 이유로 ASGI 지원, libuv 코어를 사용하는 uvloop의 매력, 그리고 수준 높은 공식 문서를 꼽았습니다. 특히 기존 WSGI 방식의 한계와 이를 극복하기 위한 비동기 조합의 복잡성을 언급하며, FastAPI가 제공하는 간결함과 성능 향상 가능성에 주목했습니다. 비록 Sanic과 같은 다른 ASGI 프레임워크도 존재하지만, FastAPI의 잘 갖춰진 문서와 커뮤니티 지원이 선택에 큰 영향을 미쳤음을 강조합니다.
FastAPIFlaskPython
매드업·2020년 8월 7일
Backend
AMAZON ATHENA를 통해 '데일리 광고 성과 리포트' 자동화하기
이 글은 애드테크 회사인 매드업에서 '데일리 광고 성과 리포트'를 자동화하기 위해 Amazon Athena를 도입한 경험을 공유합니다. 기존에는 Pandas와 AWS Lambda를 사용하여 수동으로 리포트를 생성했지만, 코드 의존성과 개발자 역량에 따른 성능 편차 등의 한계가 있었습니다. 이러한 문제를 해결하기 위해 매드업은 S3에 저장된 다양한 형식의 광고 데이터를 직접 쿼리할 수 있는 Amazon Athena를 도입했습니다. Athena는 SQL 기반으로 데이터 레이크의 특성을 활용하며, 데이터 컬럼 변경에 유연하게 대처할 수 있다는 장점이 있습니다. 이를 통해 리포트 생성 과정을 효율화하고 개발팀의 업무 부담을 줄였습니다.
Amazon AthenaAWSS3
매드업·2020년 5월 14일
Backend
스칼라에서 노드JS로 갈아탄 이유
이 글은 광고 기술 솔루션을 개발하는 매드업 팀에서 스칼라 기반 백엔드를 Node.js로 전환한 경험을 공유합니다. 기존에는 React 프론트엔드와 스칼라 백엔드를 분리하여 운영하며 역할 분리, 코드 이해 부족, 스칼라 개발자 부족 등의 문제점을 겪었습니다. 이러한 문제를 해결하기 위해 코드와 인프라를 단순화하고, 협업 체계를 강화하며, 보편적인 기술을 사용하기로 결정했습니다. 스칼라 대신 Node.js를 도입하여 프론트엔드와 백엔드를 함께 개발할 수 있는 환경을 구축하고, 개발 효율성과 팀 협업을 증진시키는 것을 목표로 합니다.
ScalaNode.jsJavaScript
매드업·2018년 9월 18일
Backend
서버 퍼포먼스 테스트 툴 사용후기
본 글은 서버 성능 테스트에 유용한 5가지 오픈소스 툴(Wrk, Vegeta, Gatling, JMeter, nGrinder)의 설치, 튜토리얼, 그리고 간단한 사용 후기를 다룹니다. HP의 LoadRunner는 상용 툴이라 제외되었습니다. 테스트 환경은 AWS EC2 t2.medium 인스턴스에 akka-http 기반의 Scala 프로그램이 배포된 상태입니다. 각 툴별로 설치 방법과 간단한 사용 예시, 그리고 장단점을 비교 분석합니다. 특히 Wrk 툴의 경우 Lua 스크립트를 활용한 요청 생성 예시와 실제 테스트 결과를 보여주며, 터미널에서 가볍게 사용하기 좋다는 장점과 정확한 요청 개수 확인 및 상세 리포트 기능 부재라는 단점을 언급합니다. 전반적으로 다양한 성능 테스트 툴을 소개하고 실제 적용 사례를 통해 각 툴의 특징을 파악하는 데 도움을 주는 글입니다.
서버 성능성능 테스트Wrk
매드업·2018년 7월 16일