메가존클라우드

RSS

게시글: 111
등록: 2026년부터

All Frontend Backend AI DevOps Architecture Etc

DevOps
Snowflake Connector(Python)용 AWS Lambda Custom Layer
이 글은 Snowflake의 Task를 AWS Lambda에서 실행하기 위해 필요한 Snowflake Connector(Python)용 AWS Lambda Custom Layer를 생성하는 방법을 안내합니다. AWS Lambda는 Snowflake Connector를 기본 지원하지 않으므로, Custom Layer를 통해 환경을 구성해야 합니다. 글에서는 Amazon Linux 환경에서 Zip 파일을 생성해야 하는 점과 Python 3.11 버전 추천 사항을 언급하며, Ubuntu EC2 인스턴스를 생성하여 Dependencies를 설치하고 압축 파일을 만드는 과정을 상세히 설명합니다. 마지막으로 생성된 Custom Layer를 AWS Lambda에 적용하고 샘플 코드를 실행하여 정상 동작을 확인하는 단계까지 다룹니다. 이를 통해 Snowflake Task를 AWS Lambda에서 효과적으로 활용할 수 있는 방법을 제시합니다.
AWS LambdaCustom LayerSnowflake Connector
메가존클라우드·2024년 7월 8일
DevOps
Terraform과 AWS Well-Architected Framework를 이용한 마이그레이션과 현대화
본 글은 AWS Partner Summit Seoul에서 진행된 'Well-Architected 에 기반하여 워크로드를 안전하게 마이그레이션하고 현대화하기' 핸즈온 세션 내용을 다룹니다. 세션에서는 HashiCorp Terraform을 활용하여 AWS 워크로드를 안전하게 마이그레이션하고, 운영 단계에서도 보안 및 거버넌스 표준을 유지하는 방안을 소개했습니다. 특히 AWS Well-Architected Migration Lens, Secure Migration Framework, Migration Security Requirements (MSR)와 Terraform을 통합하여 보안 거버넌스를 강화하는 전략을 제시합니다. 글에서는 세션의 핵심 키워드와 핸즈온 환경 구축 과정에서 겪었던 문제점 및 트러블 슈팅 경험을 공유하며, 실제적인 마이그레이션 및 현대화 과정에서의 보안 적용 방안에 대한 인사이트를 제공합니다.
TerraformAWSWell-Architected Framework
메가존클라우드·2024년 4월 30일
AI
Snowflake Arctic의 기술적 진보
이 글은 Snowflake에서 새롭게 발표한 LLM인 'Arctic'의 기술적 진보에 대해 다룹니다. Arctic은 기존 모델들과 비교하여 뛰어난 성능을 보여주며, 특히 복잡한 벤치마크에서 경쟁력 있는 결과를 나타냅니다. 글에서는 Arctic의 아키텍처적 특징과 학습 방식에 대한 간략한 설명과 함께, 실제 성능 지표들을 제시하며 그 기술적 우수성을 강조합니다. Snowflake Arctic은 AI 분야의 발전에 기여할 중요한 모델로 평가됩니다.
Snowflake ArcticLLMAI
메가존클라우드·2024년 4월 25일
AI
llama3에 대한 Andrej Karpathy의 생각
Andrej Karpathy의 Llama 3에 대한 생각은 LLM 개발의 최신 동향과 미래 방향에 대한 통찰을 제공합니다. 그는 Llama 3의 아키텍처, 학습 방식, 그리고 LLM이 나아가야 할 길에 대해 심도 깊게 논의합니다. 특히, 모델의 효율성 증대와 새로운 학습 방법론의 중요성을 강조하며, 앞으로 LLM이 어떻게 발전해 나갈지에 대한 그의 비전을 공유합니다. 이 글은 LLM 연구자와 개발자들에게 Llama 3와 같은 최신 모델에 대한 이해를 높이고, AI 분야의 미래를 조망하는 데 유용한 정보를 제공합니다.
LLMLlama 3Andrej Karpathy
메가존클라우드·2024년 4월 23일
AI
스노우파크 모델 레지스트리로 모델관리하기
이 글은 Snowflake의 Snowpark ML 모델 레지스트리를 사용하여 머신러닝 모델을 효율적으로 관리하는 방법을 설명합니다. Snowpark 네이티브 방식으로 선형 회귀 모델을 개발하고, 여러 버전의 모델을 편리하게 관리하며 배포하는 과정을 다룹니다. 주요 단계로는 세션 생성, 선형 회귀 모델 구축, 모델 평가, 모델 레지스트리 등록, 등록된 모델을 이용한 추론 등이 포함됩니다. Claude를 활용하여 영문 자료를 국문으로 번역하고 수정하여 이해를 돕고 있으며, Snowpark ML 모델링과 핵심 ML 프레임워크 지원을 강조합니다. 이를 통해 데이터 테이블에 대한 ML 모델링의 용이성과 버전 관리의 중요성을 보여줍니다.
Snowpark모델 레지스트리모델 관리
메가존클라우드·2024년 4월 19일
AI
Data Parallelism in Machine Learning Training
이 글은 생성형 AI 시대에 필수적인 분산 학습 시스템의 핵심 개념인 데이터 병렬화(Data Parallelism)에 대해 설명합니다. 데이터 병렬화는 거대한 데이터셋을 여러 GPU에 분산시키고, 각 GPU는 모델의 복사본을 가지고 병렬적으로 학습하는 방식입니다. 각 GPU는 전체 데이터셋의 일부만 사용하여 모델을 학습하며, 학습 중 모델 상태를 동기적 또는 비동기적으로 업데이트하여 모든 GPU의 상태를 수렴시킵니다. 이는 대규모 AI 모델 학습의 효율성을 높이는 중요한 기법입니다.
Data Parallelism머신러닝생성형 AI
메가존클라우드·2024년 4월 15일
AI
그리드서치로 랜덤포레스트 튜닝하기
이 글은 Kaggle의 항공권 예약 데이터셋을 활용하여 랜덤 포레스트 모델을 구현하고 그리드 서치를 통해 하이퍼파라미터를 튜닝하는 과정을 상세히 설명합니다. 데이터셋을 얻고, 전처리하며, 원-핫 인코딩, 학습/테스트 데이터 분리, 오버샘플링 등의 단계를 거쳐 랜덤 포레스트 모델을 학습시킵니다. 이후 모델 성능을 평가하고, 그리드 서치를 이용해 최적의 하이퍼파라미터를 탐색하며, 마지막으로 특성 중요도를 분석합니다. Gemini와 Claude의 도움을 받아 번역 및 수정을 거쳐, 기계 학습의 '나무를 보고 숲을 보지 못하다'는 격언처럼 부분과 전체를 균형 있게 보는 중요성을 강조하며, 실질적인 코드 구현과 함께 머신러닝 모델 튜닝의 전 과정을 다룹니다.
랜덤포레스트그리드서치하이퍼파라미터 튜닝
메가존클라우드·2024년 4월 10일
AI
Langchain을 통한 개인블로그 RAG 프로젝트
이 글은 Langchain을 활용하여 개인 블로그에 RAG(Retrieval-Augmented Generation) 시스템을 구축한 프로젝트 경험을 공유합니다. 프로젝트의 시작 동기는 기록 습관 형성, LLM 애플리케이션 개발, 개인 브랜딩 강화이며, 이를 위해 마크다운 기반 텍스트 문서 관리 웹 플랫폼과 RAG LLM 애플리케이션을 개발했습니다. 특히, RAG 시스템에서 중요한 토큰 사용량을 줄이기 위해 전체 파일 업데이트 대신 개별 엔티티 업데이트 방식을 구현한 점을 강조합니다. 또한, Vercel, Streamlit Cloud, Milvus Serverless를 활용하여 운영 관리와 비용을 절감한 인프라 관리 전략도 소개합니다. 글은 LLM 애플리케이션 개발 시 겪는 고민과 고도화의 끝없는 과정에 대한 성찰을 담고 있습니다.
RAGLangchainLLM
메가존클라우드·2024년 3월 20일
AI
Random Forest with Grid Search
이 글은 머신러닝 알고리즘 중 하나인 Random Forest를 Google Colab 환경에서 구현하는 방법을 단계별로 설명합니다. Random Forest는 개별 결정 트리보다 일반적으로 더 나은 성능을 제공하며, 이 글에서는 데이터셋 준비, 전처리(원-핫 인코딩, 오버샘플링), 모델 학습, 성능 검증, 그리고 Grid Search를 이용한 하이퍼파라미터 튜닝 및 특성 중요도 분석까지 다룹니다. Kaggle의 Flight booking 데이터를 예제로 사용하여 실제적인 구현 과정을 보여주며, 머신러닝 모델 개발의 전반적인 흐름을 이해하는 데 도움을 줍니다.
Random ForestGrid Search머신러닝
메가존클라우드·2024년 3월 15일
DevOps
Building a Web Application Using AWS Amplify and AWS Services
이 글은 웹 애플리케이션 개발에 AWS Amplify와 AWS 서비스를 활용하는 방안을 탐색하고, 온프레미스 환경 대비 장점을 테스트하는 것을 목표로 합니다. 그러나 제공된 본문 내용이 "Apologies, but something went wrong on our end."라는 오류 메시지로 인해 실제 내용을 확인할 수 없습니다. 따라서 AWS Amplify와 AWS 서비스의 구체적인 활용법, 장점, 그리고 온프레미스 환경과의 비교 분석에 대한 정보는 추출할 수 없습니다. 오류로 인해 글의 핵심 주제, 다루는 기술, 결론을 파악할 수 없으므로 요약 작성이 불가능합니다.
AWS AmplifyAWS ServicesWeb Application
메가존클라우드·2024년 3월 5일
Backend
Supabase와 Vercel을 활용한 웹 서비스 개발
이 글은 Supabase와 Vercel을 활용하여 웹 서비스를 개발하는 과정을 다룹니다. BaaS(Backend as a Service)의 개념을 소개하며, Supabase를 오픈 소스 BaaS로, Vercel을 프론트엔드 클라우드 플랫폼으로 설명합니다. Supabase는 PostgreSQL 기반으로 인증, 스토리지, 서버리스 함수 등 백엔드 기능을 제공하며, Vercel은 정적 웹사이트와 서버리스 함수, 글로벌 CDN을 통해 프론트엔드 개발 및 배포를 간소화합니다. 글에서는 Supabase 프로젝트 생성 및 설정 방법을 안내하며, BaaS의 실질적인 활용법을 경험할 수 있도록 구성되었습니다. 이를 통해 개발자는 백엔드 인프라 관리 부담을 줄이고 프론트엔드 개발에 집중할 수 있습니다.
SupabaseVercelBaaS
메가존클라우드·2024년 2월 29일
AI
Snowpark-Native Linear Regression Modeling
이전 블로그에서 sklearn을 사용하여 연봉 예측 모델을 구축했지만, Snowpark를 네이티브 방식으로 활용하지 못했던 아쉬움을 다룹니다. 이번 글에서는 Snowpark ML Modeling GA 출시를 기념하여 Snowpark 네이티브 방식으로 선형 회귀 모델을 구축하는 과정을 소개합니다. 이전 블로그와 동일한 데이터셋과 머신러닝 알고리즘을 사용하며, 코드만 Snowpark 네이티브 방식으로 변경하여 모델을 구현합니다. 이를 통해 Snowpark 환경에서 더욱 효율적인 머신러닝 워크플로우를 경험할 수 있습니다.
SnowparkLinear Regression머신러닝
메가존클라우드·2024년 1월 29일
Etc
95% Confidence Interval In Snowflake
이 글은 Snowflake에서 95% 신뢰 구간을 계산하는 방법을 다룹니다. 신뢰 구간은 통계적 추정에서 불확실성을 정량화하는 데 사용되며, 특히 데이터 분석 및 의사 결정 과정에서 중요한 역할을 합니다. 글에서는 Snowflake의 SQL 기능을 활용하여 신뢰 구간을 효과적으로 계산하는 구체적인 예시와 코드를 제공합니다. 이를 통해 사용자는 데이터의 신뢰성을 높이고 더 나은 분석 결과를 얻을 수 있습니다. 신뢰 구간 계산은 데이터의 분포와 표본 크기를 고려해야 하며, Snowflake는 이러한 계산을 위한 강력한 도구를 제공합니다. 이 글은 데이터 분석가 및 엔지니어에게 유용한 정보를 제공합니다.
SnowflakeConfidence IntervalSQL
메가존클라우드·2024년 1월 25일
Backend
SQL UDTF and Stored Procedure for Confidence Interval in Snowflake
이 글은 Snowflake에서 신뢰 구간(Confidence Interval)을 계산하기 위한 SQL UDTF(User-Defined Table Function) 및 저장 프로시저 구현에 대해 설명하려 했으나, 기술적인 문제로 인해 본문 내용이 제공되지 않았습니다. 이전 블로그 게시물에서 SQL을 사용한 신뢰 구간의 간단한 구현을 다루었다는 언급으로 보아, 이 글은 Snowflake 환경에서 통계적 분석을 위한 데이터베이스 함수 개발에 초점을 맞추었을 것으로 예상됩니다. 구체적인 구현 코드나 결과는 확인할 수 없지만, 데이터베이스 내에서 직접 복잡한 계산 로직을 구현하는 방법에 대한 정보를 제공하려 했을 가능성이 높습니다.
SnowflakeSQLUDTF
메가존클라우드·2024년 1월 25일
AI
Linear Regression with Snowflake and SKLearn
이 글은 뉴욕시 거주자들의 총 연간 소득을 예측하는 선형 회귀 모델을 개발하는 과정을 단계별로 설명합니다. Snowflake Marketplace에서 제공하는 무료 데이터셋을 활용하여 데이터를 가져오고, Snowsight에서 SQL 쿼리를 통해 데이터를 준비합니다. 이후 Snowpark를 사용하여 Snowflake와 연동하고, SKLearn 라이브러리를 이용해 머신러닝 모델을 학습시키고 추론하는 전체 워크플로우를 다룹니다. 특히, Snowflake 내에서 ML 모델 구축 작업을 수행하는 방법에 초점을 맞춰, 데이터 준비부터 모델 학습 및 추론까지의 과정을 상세히 안내합니다.
Linear RegressionSnowflakeSKLearn
메가존클라우드·2024년 1월 25일
Backend
인터넷 액세스 불가 환경에서 Amazon Bedrock API실행 하기
본 글은 인터넷 액세스가 불가능한 환경에서 Amazon Bedrock API를 실행하는 방법을 다룹니다. SageMaker 노트북 인스턴스를 프라이빗 서브넷에 설정하고, NAT Gateway 없이 VPC 엔드포인트를 활용하여 Bedrock API에 접근하는 과정을 상세히 설명합니다. 모델 액세스 유효화 및 SageMaker 노트북 인스턴스 준비 단계, 필요한 VPC 엔드포인트 설정 등을 포함하며, 오프라인 환경에서의 클라우드 AI 서비스 활용 가능성을 탐구합니다. 특히 Claude v2 모델을 예시로 들어 실질적인 구현 방안을 제시합니다.
Amazon Bedrock AgentsAPISageMaker
메가존클라우드·2024년 1월 10일
Backend
Amazon RDS for MySQL 버전 업그레이드 — 3. Read Replica 생성/승격을 통한 엔진 업그레이드
이 글은 Amazon RDS for MySQL 데이터베이스의 엔진 버전을 업그레이드하는 방법 중 하나인 Read Replica 생성 및 승격을 통한 업그레이드 방식을 상세히 설명합니다. 특히, AWS에서 제공하는 블루/그린 배포 기능을 활용하여 안전하고 효율적인 업그레이드를 지원하는 점을 강조합니다. 업그레이드 과정의 첫 단계로, 대상 엔진 버전에 맞는 파라미터 그룹과 옵션 그룹을 미리 생성하는 방법을 안내하며, 이를 통해 업그레이드 후 발생할 수 있는 잠재적인 문제를 예방하고 안정성을 확보하는 중요성을 설명합니다. 이 방법은 다운타임을 최소화하면서 데이터베이스를 최신 버전으로 유지하는 데 유용합니다.
Amazon RDSMySQLRead Replica
메가존클라우드·2023년 12월 28일
Backend
Amazon RDS for MySQL 엔진 업그레이드 — 2. Blue/Green 배포를 통한 엔진 업그레이드
이 글은 Amazon RDS for MySQL 데이터베이스 엔진을 Blue/Green 배포 방식을 사용하여 업그레이드하는 방법에 대해 설명합니다. Blue/Green 배포는 프로덕션 환경(블루)과 별도로 스테이징 환경(그린)을 생성하고, 논리적 복제를 통해 데이터를 동기화합니다. 이를 통해 프로덕션 워크로드에 영향을 주지 않고 스테이징 환경에서 엔진 업그레이드를 테스트하고, 준비가 되면 빠르고 안전하게 프로덕션으로 전환할 수 있습니다. 이 방식은 다운타임을 최소화하고, 데이터 손실 없이 안전한 전환을 보장하며, 데이터베이스 패치, 시스템 업데이트, 새로운 기능 구현 및 테스트를 용이하게 합니다. 업그레이드 전에는 엔진 버전에 맞는 파라미터 그룹과 옵션 그룹을 생성하는 것이 권장됩니다.
RDSMySQLBlue/Green Deployment
메가존클라우드·2023년 12월 28일
Backend
Amazon RDS for MySQL 버전 업그레이드
Amazon RDS for MySQL 5.7 버전의 지원이 2023년 12월 종료됨에 따라, 데이터 손실 없이 MySQL 5.7에서 8.0으로 성공적으로 업그레이드하는 상세 절차를 안내합니다. AWS는 DB 엔진 버전 폐지 시 자동 업그레이드를 진행하며, 이를 위해 3개월의 공지 기간과 6개월의 지원 종료 후 업그레이드 기간을 제공합니다. 지원 종료된 엔진을 계속 사용해야 하는 경우, 추가 비용을 지불하고 Amazon RDS 추가 지원을 통해 최대 3년까지 연장할 수 있습니다. 본 문서는 MySQL 5.7 사용자들이 버전 지원 종료에 대비하여 안정적인 업그레이드를 수행할 수 있도록 실질적인 가이드를 제공하는 데 목적이 있습니다.
Amazon RDSMySQL버전 업그레이드
메가존클라우드·2023년 12월 28일
DevOps
Terraform Flexible Deployment Options 으로 MEGATHON 환경 구축하기
메가존클라우드에서 진행된 Devops Quest 이벤트 'MEGATHON' 환경 구축 사례를 다룹니다. 이 글은 특히 올해 9월 출시된 Terraform FDO(Flexible Deployment Options) 기능을 중점적으로 소개하며, 이를 통해 Docker 또는 Kubernetes 환경에서 Terraform Enterprise를 신속하게 설치하고 배포하는 방법을 설명합니다. 본 행사에서는 Amazon EKS 환경에 Terraform Enterprise를 배포했으며, PostgreSQL, Blob Storage, Redis와 같은 사전 요구 사항으로 AWS RDS, AWS S3, AWS ElastiCache를 활용했습니다. Terraform FDO를 통해 다수의 참가자가 동시에 작업하는 환경에서도 클러스터의 높은 신뢰성과 가용성을 확보할 수 있었음을 강조합니다.
TerraformFDOMEGATHON
메가존클라우드·2023년 12월 19일