베스핀글로벌

RSS

게시글: 170
등록: 2026년부터

All Frontend Backend AI DevOps Architecture Etc

Backend
XSS Filter를 통한 웹 보안 강화 방법
이 글은 웹 보안의 주요 취약점 중 하나인 XSS(크로스 사이트 스크립팅) 공격에 대해 설명하고, 이를 방어하기 위한 XSS 필터 구현 방법을 다룹니다. XSS 공격의 개념, 유형, 그리고 개발 과정에서 입력 폼이나 파일 첨부 로직을 다룰 때 보안 강화의 중요성을 강조합니다. 특히, Java 기반의 `CrossScriptingFilter` 예시 코드를 통해 실제 필터 로직을 구현하는 방법을 구체적으로 보여주며, 이를 통해 웹 애플리케이션의 보안을 한층 강화할 수 있는 실질적인 방안을 제시합니다. 결론적으로, XSS 필터는 웹 취약점을 예방하고 사용자 데이터를 보호하는 데 필수적인 보안 조치임을 강조합니다.
XSS웹 보안필터
베스핀글로벌·2025년 4월 15일
Backend
MWAA-Oracle DB 쿼리 수행 방법
본 글은 Apache Airflow 환경에서 Oracle DB에 쿼리를 수행하는 방법에 대해 다룹니다. 특히, `SQLExecuteQueryOperator` 사용 시 발생할 수 있는 `oracledb.exceptions.NotSupportedError: DPY-3015: password verifier type 0x939 is not supported by python-oracledb in thin mode` 오류의 원인을 분석하고 해결 방안을 제시합니다. Oracle DB 쿼리 수행을 위해 각 DB 솔루션별 Operator 대신 공통 Operator를 활용하는 방법을 소개하며, Python에서 사용 가능한 Oracle Client 라이브러리 종류(cx_Oracle, oracledb)를 설명합니다. `oracledb` 라이브러리의 Thin 모드와 Thick 모드 차이점을 설명하고, 해당 오류가 발생하는 근본적인 원인과 해결 방법을 구체적인 예시와 함께 안내하여 Airflow 사용자들이 Oracle DB 연동 시 겪는 문제를 해결하도록 돕습니다.
AirflowOracle DBSQLExecuteQueryOperator
베스핀글로벌·2025년 4월 10일
Backend
Datahub(오픈 소스 메타데이터 플랫폼)
분산된 다양한 데이터 플랫폼(BigQuery, MS SQL, MySQL 등)의 메타데이터를 통합 관리할 수 있는 오픈 소스 메타데이터 플랫폼인 Datahub를 소개하는 글입니다. Datahub는 다양한 데이터 소스로부터 메타데이터를 쉽게 추출하고 관리하며, 검색 및 탐색 기능을 통해 데이터베이스, 데이터 레이크, BI 플랫폼, ML 기능 저장소 등 전반에 걸쳐 결과를 제공합니다. 또한, 엔드 투 엔드 계보 추적 기능을 통해 데이터의 원천과 파생 과정을 시각적으로 이해할 수 있으며, 영향 분석을 통해 주요 변경 사항이 다운스트림에 미치는 영향을 사전에 파악할 수 있습니다. 이를 통해 데이터 관리의 효율성을 높이고 통합적인 데이터 플랫폼 구축의 필요성을 강조합니다.
Datahub메타데이터 플랫폼오픈소스
베스핀글로벌·2025년 4월 4일
Backend
Springboot 구동시 AWS Secret을 조회하여 Datasource 생성
이 글은 Spring Boot 애플리케이션 구동 시 AWS Secret Manager를 통해 데이터베이스 접속 정보를 안전하게 조회하고 이를 기반으로 DataSource를 생성하는 방법을 설명합니다. Spring Boot의 자동 설정 기능을 중지하고, Gradle 설정을 통해 필요한 의존성을 추가한 후, SecretManagerConfig, DBConnectionInfo 클래스를 구현하여 AWS Secret Manager에서 정보를 가져옵니다. 마지막으로 MyDataSourceConfiguration 클래스를 통해 커스텀 DataSource 설정을 적용하고, Spring Boot 프로젝트 시작 시 DataSource가 정상적으로 생성되는지 확인하는 과정을 상세히 안내합니다. 이를 통해 민감한 데이터베이스 접속 정보를 코드에 직접 포함하지 않고 안전하게 관리하는 방법을 제시합니다.
Spring BootAWS Secret ManagerDatasource
베스핀글로벌·2025년 4월 2일
Backend
OpenAPI 3.0 스펙 작성 가이드
본 글은 BESPIN GLOBAL Data실 이언하님이 작성한 'OpenAPI 3.0 스펙 작성 가이드'를 소개합니다. OpenAPI 3.0 스펙은 유연성이 높아 설계자에게 다양한 옵션을 제공하지만, 엔터프라이즈 스케일을 고려할 때는 설계 우선 접근 방식을 권장합니다. 개발자가 주석으로 코드를 작성하고 스펙을 생성하는 방식보다, 스펙 자체를 먼저 설계하는 것이 중요합니다. 잘 정의된 API 스펙은 단순한 문서를 넘어 프로젝트 스캐폴딩, 런타임 검증, 보안 강화 등 다방면으로 활용될 수 있습니다. 특히 MSA 환경에서는 수많은 API가 생성되므로, 명확하고 일관된 스펙 작성이 서비스 개발 및 운영의 핵심입니다. 가이드라인으로는 명확성, 문서화, 스펙 준수, 그리고 사용하기 쉬운 개체 모델 디자인이 강조됩니다. 또한, 기능 구현 후 보안을 추가하는 방식 대신, 설계 초기부터 보안을 고려하는 'Security First' 접근을 제안하며, Petstore 스펙을 참고 자료로 제시합니다.
OpenAPI 3.0API 스펙설계 우선
베스핀글로벌·2025년 3월 28일
Backend
Spark 9편: JDBC 병렬처리 시 주의 사항
이 글은 Spark에서 JDBC를 통해 RDB 데이터를 수집할 때 발생할 수 있는 병렬 처리 관련 주의 사항을 다룹니다. Spark은 JDBC 라이브러리를 사용하여 데이터를 읽을 수 있지만, 병렬 처리가 제대로 이루어지지 않으면 단일 태스크로 인해 대량 데이터 조회 시 timeout, OOM, Storage Spill 등의 문제가 발생할 수 있습니다. 이를 해결하기 위해 `partitionColumn`, `lowerBound`, `upperBound`, `numPartitions` 옵션을 활용하여 데이터를 여러 파티션으로 나누어 병렬 처리하는 방법을 설명합니다. 하지만 이 과정에서 `partitionColumn`의 카디널리티가 높을 경우 예상치 못한 파티션 Skew가 발생할 수 있음을 지적하며, 이에 대한 주의를 당부합니다.
SparkJDBC병렬처리
베스핀글로벌·2025년 3월 28일
Backend
Spark 8편: Rest API를 통한 데이터 수집
본 글은 Spark를 활용하여 Rest API로부터 대량의 반정형 데이터를 효율적으로 수집하는 방법을 다룹니다. 기존 방식은 Spark의 병렬성을 활용하지 못하거나 Python의 requests 라이브러리를 Driver에서만 사용하여 성능 저하 및 OOM 문제를 야기할 수 있습니다. 글에서는 이러한 문제점을 해결하기 위해 Spark UDF를 활용하여 Rest API 데이터를 수집하는 방안을 제시합니다. 이를 통해 Spark의 병렬 처리 능력을 최대한 활용하면서 외부 시스템의 데이터를 효과적으로 수집할 수 있는 방법을 소개하며, 데이터 엔지니어링 관점에서 성능 최적화 방안을 모색합니다.
SparkRest API데이터 수집
베스핀글로벌·2025년 3월 28일
Backend
Spark 7편: Optimising Shuffle Partitions(coalescePartitions)
이 글은 Apache Spark 3.0에 도입된 Adaptive Query Execution(AQE) 기능, 특히 coalescePartitions를 중심으로 Spark 쿼리 성능 최적화 방안을 다룹니다. Spark Catalyst Optimizer는 논리 계획을 물리 계획으로 변환하는 시점에 쿼리 최적화를 수행하지만, AQE는 런타임에 수집된 메트릭 정보를 바탕으로 쿼리를 재최적화하는 추가 계층을 제공합니다. Spark 1.x부터 3.0까지 최적화 모듈의 진화 과정을 설명하며, AQE의 coalescePartitions 기능이 셔플 파티션 수 조절을 통해 성능 저하 문제를 해결하는 원리를 분석합니다. 기존에는 사용자가 직접 셔플 파티션 수를 튜닝해야 했으나, AQE는 스테이지 완료 후 셔플 통계 정보를 기반으로 파티션 수를 동적으로 조절하여 효율적인 데이터 처리와 성능 향상을 가능하게 합니다.
SparkAQECatalyst Optimizer
베스핀글로벌·2025년 3월 28일
Backend
Spark 5편 – Spark Connect
이 글은 Apache Spark의 활용도 증대에 따른 다양한 애플리케이션 및 IDE 통합 요구사항을 해결하기 위해 등장한 Spark Connect에 대해 소개합니다. 기존 Spark 아키텍처는 SQL 외 원격 클러스터 연결 기능이 부족했으며, Livy와 같은 오픈소스는 안정성 문제를 안고 있었습니다. Spark Connect는 2023년 4월 Spark 4.0에 신규 기능으로 탑재되었으며, Spark Connect API라는 중계 서버를 통해 GRPC 기반의 단일화된 프로토콜로 다양한 클라이언트 시스템과 통신합니다. 이를 통해 원격에서 Spark 클러스터에 더 안정적이고 효율적으로 연결할 수 있게 되었습니다. 다만, Python 및 Scala 언어에서 Spark 3.4 버전 이상에서만 활용 가능하며 RDD 등 일부 기능에 제약이 있습니다.
SparkSpark ConnectData Engineering
베스핀글로벌·2025년 3월 27일
Backend
Spark 4편 – Broadcast
본 글은 Spark의 성능 최적화를 위한 Broadcast 기능에 대해 설명합니다. Spark에서 성능을 높이는 핵심은 노드 간 데이터 이동, 즉 셔플을 최소화하는 것입니다. Broadcast는 지정된 데이터셋이나 변수를 모든 노드에 복사하여 이 셔플 과정을 줄이는 효과적인 방법입니다. Broadcast Variables는 데이터를 직렬화하여 작업자 노드의 메모리에 로딩하며, 읽기 전용으로 변경이 불가합니다. 또한, 크기가 작은 데이터프레임에 대한 Broadcast Join은 조인 속도를 크게 향상시킬 수 있습니다. 실제 사례를 통해 Broadcast 미사용 시 15초가 소요되던 조인 작업이 Broadcast 사용 시 0.7초로 단축되는 성능 개선 효과를 보여줍니다. 메모리 로딩으로 인한 오버헤드를 고려하여 적절한 상황에 사용하는 것이 중요합니다.
SparkBroadcastPerformance Optimization
베스핀글로벌·2025년 3월 26일
Backend
Spark 3편 – Optimize Partition
이 글은 Apache Spark의 파티션 최적화에 대한 내용을 다룹니다. Spark은 대규모 데이터를 효율적으로 처리하기 위해 데이터를 파티션이라는 더 작은 단위로 분할하며, 파티션 수는 병렬 처리 정도를 결정합니다. 잘못된 파티션 활용은 데이터 왜곡(핫 파티션 발생)이나 컴퓨팅 파워 낭비와 같은 문제를 야기할 수 있습니다. 글에서는 파티션의 개념, 잘못된 활용 사례, 파티션 종류, 그리고 Output Partition과 Shuffle Partition에 대해 설명하며, Spark 작업의 성능을 향상시키기 위한 파티션 최적화의 중요성을 강조합니다. 특히, 데이터의 균등한 분배와 적절한 파티션 수 설정이 Spark 성능에 미치는 영향을 구체적인 예시와 함께 보여줍니다.
SparkPartitionOptimize
베스핀글로벌·2025년 3월 25일
Backend
Spark 2편 – Caching 및 Persist
이 글은 Apache Spark에서 데이터 처리 성능을 향상시키기 위한 Caching 및 Persist 기능과 관련 문제점 및 해결 방안을 다룹니다. Caching 및 Persist 함수는 RDD 또는 Dataframe을 메모리에 저장하여 중복 활용 시 성능을 높이는 데 사용됩니다. 하지만 과도한 캐싱은 오히려 디스크 spill over를 유발하여 성능 저하를 초래할 수 있습니다. Spark UI의 Storage 탭을 통해 spill over 현상을 확인할 수 있으며, 이는 Storage Memory 부족으로 인해 발생합니다. 해결 방안으로는 Executor 메모리 증가, spark.memory.storageFraction 조정, 사용하지 않는 캐시 해제를 위한 unpersist() 호출, 그리고 파티션 재정렬(repartition)을 통한 메모리 저장 비율 향상 등이 제시됩니다.
SparkCachingPersist
베스핀글로벌·2025년 3월 25일
Backend
Spark 1편 – Backend Service – Optimizer
이 글은 Apache Spark의 Optimizer 작동 방식에 대해 설명합니다. Spark은 Lazy evaluation 방식을 사용하여 여러 Transformation을 모아서 최적화하는 것이 단일 Transformation 튜닝보다 효율적임을 강조합니다. 쿼리 수행을 위해 내부적으로 Catalyst Project와 Tungsten Project라는 두 가지 엔진이 동작합니다. Catalyst Project는 사용자가 작성한 코드를 실행 가능한 Plan으로 변환하며, Logical Plan을 Physical Plan으로 변경하는 역할을 합니다. Logical Plan은 데이터 변환 단계를 추상화하고 최적화가 적용되지 않은 상태를 정의하며, Physical Plan은 Cost Model 기반의 실행 전략에 따라 최적화 작업을 수행합니다. 이 글은 Spark의 쿼리 최적화 메커니즘을 이해하는 데 도움을 줍니다.
SparkOptimizerLazy evaluation
베스핀글로벌·2025년 3월 25일
Backend
[BigData] Spark 개요 정리
본 글은 BESPIN GLOBAL의 김철환님이 작성한 Spark 개요 정리 글입니다. Spark는 SQL, 스트리밍, 머신러닝, 그래프 처리를 위한 모듈을 포함하는 대규모 데이터 처리를 위한 통합 분석 엔진입니다. Hadoop, Mesos, Kubernetes 등 다양한 환경에서 실행 가능하며, 여러 데이터 소스를 지원합니다. Spark의 핵심 목표는 빅데이터 애플리케이션 개발에 필요한 플랫폼을 제공하는 것으로, 데이터 읽기, SQL 처리, 스트림 처리, 머신러닝 등 다양한 작업을 일관된 API로 수행할 수 있습니다. Spark는 영구 저장소 역할은 하지 않고 데이터를 연산하는 역할에 집중하며, 클라우드 스토리지, 파일시스템, Key-Value Store, 메시징 서비스 등 다양한 스토리지를 지원합니다. Spark Core를 포함한 5가지 주요 구성요소를 통해 분산 데이터 처리를 효율적으로 수행합니다.
SparkBigData분산 처리
베스핀글로벌·2025년 3월 25일
Backend
Firebase Google Login
이 글은 Firebase를 활용하여 Google 로그인 기능을 구현하는 방법을 상세히 안내합니다. Firebase 콘솔에서 프로젝트를 생성하고 Google 로그인 설정을 구성하는 과정을 단계별 이미지와 함께 설명합니다. HTML과 JavaScript ES6+를 사용하여 구현하며, Firebase의 기본 Spark 요금제, 특히 한국 지역의 인증 기능은 무료로 제공된다는 점을 강조합니다. 복잡한 인증 절차 없이 간편하게 Google 로그인을 연동하려는 개발자들에게 유용한 가이드가 될 것입니다.
FirebaseGoogle LoginAuthentication
베스핀글로벌·2024년 2월 2일
Backend
[2023 AWS re:Invent] Future-proofing your applications with AWS databases
2023 AWS re:Invent 세션 'Future-proofing your applications with AWS databases'는 변화하는 애플리케이션 환경에 맞춰 AWS 데이터베이스가 어떻게 혁신하고 있는지 다룹니다. AWS 데이터베이스는 고객 니즈와 환경 변화에 따라 지속적으로 발전해왔으며, 지능형 패브릭을 통한 액세스 계층 고도화로 API, SQL 쿼리, 자연어 등 다양한 방식으로 상호작용이 가능해졌습니다. 생성형 AI, 로우코드/노코드 활용으로 데이터 기반 애플리케이션 개발이 용이해졌으며, AWS는 성능과 비용 최적화에 집중하여 오토 스케일링 등의 기능을 제공합니다. 현재 17개에 달하는 다양한 데이터베이스 포트폴리오를 통해 미래 경쟁력을 확보할 수 있음을 강조합니다.
AWS데이터베이스Database
베스핀글로벌·2023년 12월 6일
Backend
[2023 AWS re:Invent] Amazon Neptune architectures for scale, availability, and insight
2023 AWS re:Invent 세션에서는 Amazon Neptune의 확장성, 가용성, 가시성을 확보하는 기능과 방법에 대해 다룹니다. 확장성 측면에서는 CPU 및 Memory 지표를 통한 데이터베이스 확장 검토, Serverless 사용 검토, 다중 워크로드 확장을 위한 Cache sharding 및 Dynamic Custom Endpoint 활용 방안을 제시합니다. 가용성 확보를 위해서는 Engine Update 시 Blue/Green Deployment 방식 지원을 소개하며, 가시성 확보를 위해서는 Neptune Notebook, Data API, 그리고 Generative AI 연동 방법을 알아봅니다. 이 세션은 Amazon Neptune을 효과적으로 활용하여 데이터베이스 성능과 안정성을 높이고자 하는 개발자 및 아키텍트에게 유용한 정보를 제공합니다.
Amazon Neptune데이터베이스확장성
베스핀글로벌·2023년 12월 4일
Backend
[2023 AWS re:Invent] Data modeling core concepts for Amazon DynamoDB
이 글은 2023 AWS re:Invent 세션 내용을 바탕으로 Amazon DynamoDB의 데이터 모델링 핵심 개념을 설명합니다. DynamoDB 테이블의 기본 개념, 파티션 키의 중요성, 로컬 보조 인덱스와 글로벌 보조 인덱스의 차이점 및 활용법을 다룹니다. 특히, 테이블 생성 시 파티션 키 등 기본 키 설정의 중요성과 글로벌 보조 인덱스는 생성 후에도 유연하게 추가, 수정, 삭제가 가능하다는 점을 강조합니다. 또한, DynamoDB 비용 최적화 및 데이터 필터링 방법에 대한 내용도 포함되어 있어, DynamoDB를 효율적으로 사용하기 위한 실질적인 가이드라인을 제공합니다.
DynamoDBData ModelingDatabase
베스핀글로벌·2023년 12월 4일
Backend
Slack Bolt를 활용한 Python Chatbot 가이드
이 글은 Slack Bolt SDK를 활용하여 Python 기반의 챗봇 개발 환경을 구축하는 방법을 안내합니다. 챗봇 개발을 위해 Slack 앱 환경을 구성하는 과정과 Slack Bolt를 사용한 Python 챗봇 테스트 방법을 상세히 다룹니다. Slack Bolt는 기존 slack_sdk를 기반으로 하며, 복잡했던 이벤트 트래킹이나 웹소켓 모드를 간편하게 구현할 수 있는 장점이 있습니다. 또한 Slack에서 직접 개발 업데이트를 제공하여 신규 API에 대한 빠른 대응이 가능합니다. 글에서는 Slack 앱 생성부터 시작하여 앱/봇 토큰 생성까지의 과정을 단계별로 설명하며, Python에서 챗봇을 사용하기 위한 필수적인 초기 설정을 돕습니다.
Slack BoltPython챗봇
베스핀글로벌·2023년 11월 15일
Backend
Elasticsearch 시작 가이드
본 가이드는 Elasticsearch의 기본적인 개념과 동작 방식을 설명하여 운영 활용에 필요한 지식을 제공합니다. Elasticsearch는 Elastic사에서 개발한 실시간 분산 검색 및 분석 엔진으로, RESTful API를 통해 JSON 형식으로 데이터를 색인화하고 복잡한 검색 쿼리를 빠르게 처리할 수 있습니다. 주요 기능으로는 루씬 기반의 풍부한 Full Text Search, 대량 데이터 처리 및 확장이 용이한 Distributed and Scalable 구조, 실시간 데이터 분석 기능, 그리고 다양한 환경에서 쉽게 사용할 수 있는 RESTful API가 있습니다. 또한, 로그 및 트랜잭션 데이터 분석, 사이트 검색 등 다양한 용도로 활용될 수 있으며, Logstash, Kibana와 함께 ELK 스택을 구성하여 실시간 로그 분석에 효과적입니다.
Elasticsearch검색 엔진분산 시스템
베스핀글로벌·2023년 11월 13일