메가존클라우드

RSS

게시글: 111
등록: 2026년부터

All Frontend Backend AI DevOps Architecture Etc

AI
Snowflake Arctic의 기술적 진보
이 글은 Snowflake에서 새롭게 발표한 LLM인 'Arctic'의 기술적 진보에 대해 다룹니다. Arctic은 기존 모델들과 비교하여 뛰어난 성능을 보여주며, 특히 복잡한 벤치마크에서 경쟁력 있는 결과를 나타냅니다. 글에서는 Arctic의 아키텍처적 특징과 학습 방식에 대한 간략한 설명과 함께, 실제 성능 지표들을 제시하며 그 기술적 우수성을 강조합니다. Snowflake Arctic은 AI 분야의 발전에 기여할 중요한 모델로 평가됩니다.
Snowflake ArcticLLMAI
메가존클라우드·2024년 4월 25일
AI
llama3에 대한 Andrej Karpathy의 생각
Andrej Karpathy의 Llama 3에 대한 생각은 LLM 개발의 최신 동향과 미래 방향에 대한 통찰을 제공합니다. 그는 Llama 3의 아키텍처, 학습 방식, 그리고 LLM이 나아가야 할 길에 대해 심도 깊게 논의합니다. 특히, 모델의 효율성 증대와 새로운 학습 방법론의 중요성을 강조하며, 앞으로 LLM이 어떻게 발전해 나갈지에 대한 그의 비전을 공유합니다. 이 글은 LLM 연구자와 개발자들에게 Llama 3와 같은 최신 모델에 대한 이해를 높이고, AI 분야의 미래를 조망하는 데 유용한 정보를 제공합니다.
LLMLlama 3Andrej Karpathy
메가존클라우드·2024년 4월 23일
AI
스노우파크 모델 레지스트리로 모델관리하기
이 글은 Snowflake의 Snowpark ML 모델 레지스트리를 사용하여 머신러닝 모델을 효율적으로 관리하는 방법을 설명합니다. Snowpark 네이티브 방식으로 선형 회귀 모델을 개발하고, 여러 버전의 모델을 편리하게 관리하며 배포하는 과정을 다룹니다. 주요 단계로는 세션 생성, 선형 회귀 모델 구축, 모델 평가, 모델 레지스트리 등록, 등록된 모델을 이용한 추론 등이 포함됩니다. Claude를 활용하여 영문 자료를 국문으로 번역하고 수정하여 이해를 돕고 있으며, Snowpark ML 모델링과 핵심 ML 프레임워크 지원을 강조합니다. 이를 통해 데이터 테이블에 대한 ML 모델링의 용이성과 버전 관리의 중요성을 보여줍니다.
Snowpark모델 레지스트리모델 관리
메가존클라우드·2024년 4월 19일
AI
Data Parallelism in Machine Learning Training
이 글은 생성형 AI 시대에 필수적인 분산 학습 시스템의 핵심 개념인 데이터 병렬화(Data Parallelism)에 대해 설명합니다. 데이터 병렬화는 거대한 데이터셋을 여러 GPU에 분산시키고, 각 GPU는 모델의 복사본을 가지고 병렬적으로 학습하는 방식입니다. 각 GPU는 전체 데이터셋의 일부만 사용하여 모델을 학습하며, 학습 중 모델 상태를 동기적 또는 비동기적으로 업데이트하여 모든 GPU의 상태를 수렴시킵니다. 이는 대규모 AI 모델 학습의 효율성을 높이는 중요한 기법입니다.
Data Parallelism머신러닝생성형 AI
메가존클라우드·2024년 4월 15일
AI
그리드서치로 랜덤포레스트 튜닝하기
이 글은 Kaggle의 항공권 예약 데이터셋을 활용하여 랜덤 포레스트 모델을 구현하고 그리드 서치를 통해 하이퍼파라미터를 튜닝하는 과정을 상세히 설명합니다. 데이터셋을 얻고, 전처리하며, 원-핫 인코딩, 학습/테스트 데이터 분리, 오버샘플링 등의 단계를 거쳐 랜덤 포레스트 모델을 학습시킵니다. 이후 모델 성능을 평가하고, 그리드 서치를 이용해 최적의 하이퍼파라미터를 탐색하며, 마지막으로 특성 중요도를 분석합니다. Gemini와 Claude의 도움을 받아 번역 및 수정을 거쳐, 기계 학습의 '나무를 보고 숲을 보지 못하다'는 격언처럼 부분과 전체를 균형 있게 보는 중요성을 강조하며, 실질적인 코드 구현과 함께 머신러닝 모델 튜닝의 전 과정을 다룹니다.
랜덤포레스트그리드서치하이퍼파라미터 튜닝
메가존클라우드·2024년 4월 10일
AI
Langchain을 통한 개인블로그 RAG 프로젝트
이 글은 Langchain을 활용하여 개인 블로그에 RAG(Retrieval-Augmented Generation) 시스템을 구축한 프로젝트 경험을 공유합니다. 프로젝트의 시작 동기는 기록 습관 형성, LLM 애플리케이션 개발, 개인 브랜딩 강화이며, 이를 위해 마크다운 기반 텍스트 문서 관리 웹 플랫폼과 RAG LLM 애플리케이션을 개발했습니다. 특히, RAG 시스템에서 중요한 토큰 사용량을 줄이기 위해 전체 파일 업데이트 대신 개별 엔티티 업데이트 방식을 구현한 점을 강조합니다. 또한, Vercel, Streamlit Cloud, Milvus Serverless를 활용하여 운영 관리와 비용을 절감한 인프라 관리 전략도 소개합니다. 글은 LLM 애플리케이션 개발 시 겪는 고민과 고도화의 끝없는 과정에 대한 성찰을 담고 있습니다.
RAGLangchainLLM
메가존클라우드·2024년 3월 20일
AI
Random Forest with Grid Search
이 글은 머신러닝 알고리즘 중 하나인 Random Forest를 Google Colab 환경에서 구현하는 방법을 단계별로 설명합니다. Random Forest는 개별 결정 트리보다 일반적으로 더 나은 성능을 제공하며, 이 글에서는 데이터셋 준비, 전처리(원-핫 인코딩, 오버샘플링), 모델 학습, 성능 검증, 그리고 Grid Search를 이용한 하이퍼파라미터 튜닝 및 특성 중요도 분석까지 다룹니다. Kaggle의 Flight booking 데이터를 예제로 사용하여 실제적인 구현 과정을 보여주며, 머신러닝 모델 개발의 전반적인 흐름을 이해하는 데 도움을 줍니다.
Random ForestGrid Search머신러닝
메가존클라우드·2024년 3월 15일
AI
Snowpark-Native Linear Regression Modeling
이전 블로그에서 sklearn을 사용하여 연봉 예측 모델을 구축했지만, Snowpark를 네이티브 방식으로 활용하지 못했던 아쉬움을 다룹니다. 이번 글에서는 Snowpark ML Modeling GA 출시를 기념하여 Snowpark 네이티브 방식으로 선형 회귀 모델을 구축하는 과정을 소개합니다. 이전 블로그와 동일한 데이터셋과 머신러닝 알고리즘을 사용하며, 코드만 Snowpark 네이티브 방식으로 변경하여 모델을 구현합니다. 이를 통해 Snowpark 환경에서 더욱 효율적인 머신러닝 워크플로우를 경험할 수 있습니다.
SnowparkLinear Regression머신러닝
메가존클라우드·2024년 1월 29일
AI
Linear Regression with Snowflake and SKLearn
이 글은 뉴욕시 거주자들의 총 연간 소득을 예측하는 선형 회귀 모델을 개발하는 과정을 단계별로 설명합니다. Snowflake Marketplace에서 제공하는 무료 데이터셋을 활용하여 데이터를 가져오고, Snowsight에서 SQL 쿼리를 통해 데이터를 준비합니다. 이후 Snowpark를 사용하여 Snowflake와 연동하고, SKLearn 라이브러리를 이용해 머신러닝 모델을 학습시키고 추론하는 전체 워크플로우를 다룹니다. 특히, Snowflake 내에서 ML 모델 구축 작업을 수행하는 방법에 초점을 맞춰, 데이터 준비부터 모델 학습 및 추론까지의 과정을 상세히 안내합니다.
Linear RegressionSnowflakeSKLearn
메가존클라우드·2024년 1월 25일
AI
PartyRock으로 캐릭터를 만들어 보았습니다!
AWS에서 출시한 PartyRock 서비스를 활용하여 나만의 애완동물 히어로 캐릭터 생성 앱을 만들어보는 과정을 소개합니다. PartyRock은 Amazon Bedrock을 기반으로 한 Generative AI Apps 서비스로, 간단한 UI를 통해 게임 스토리 작성이나 가상 캐릭터 생성 등 다양한 AI 앱을 쉽게 만들 수 있습니다. 현재 기간 한정 무료로 체험할 수 있어 활용하기 좋은 시기입니다. 글에서는 PartyRock 로그인 방법부터 앱 빌드 과정까지 상세하게 설명하며, 직접 캐릭터 생성 앱을 만들어보는 경험을 공유합니다. 이를 통해 사용자는 아이디어만 있다면 누구나 쉽게 Generative AI 앱을 개발할 수 있음을 보여줍니다.
PartyRockAmazon Bedrock Agents생성형 AI
메가존클라우드·2023년 12월 18일
AI
AI Summit 2023 참관기
AI Summit 2023 참관 후기를 공유하는 글입니다. 이 컨퍼런스는 AI와 산업의 융합에 초점을 맞추며, 마이크로소프트, 월마트, 엔비디아 등 다양한 기업과 애플 시리 개발자, 트랜스포머 논문 저자 등 유명 인사들이 참여했습니다. 특히 생성형 AI의 부상, LLM의 현황과 적용 사례, 산업별 AI 전략, AI 모델 상업화, 한국 시장에 미칠 영향, AI 프로젝트 성공을 위한 데이터 전략 등이 주요 주제로 다뤄졌습니다. 본문에서는 '성공적인 AI 프로젝트를 위한 합성 데이터 전략과 사례' 세션을 상세히 소개하며, 합성 데이터의 정의와 AI 학습 데이터셋 전략에 대해 설명합니다. 합성 데이터는 실제 데이터의 보안 문제 등을 해결하며 AI 모델 훈련에 적합한 대안으로 제시됩니다.
AI Summit 2023생성형 AILLM
메가존클라우드·2023년 11월 10일
AI
폐쇄 환경에서 Amazon Sagemaker노트북 인스턴스를 이용하는 경우의 데이터 보호에 관한 Tips
본 글은 폐쇄 환경에서 Amazon SageMaker 노트북 인스턴스를 사용할 때 데이터 보호를 강화하는 방법에 대한 팁을 제공합니다. SageMaker 노트북 인스턴스는 강력한 AI/ML 개발 환경을 제공하지만, 민감한 데이터 처리 시 보안에 대한 고려가 필수적입니다. 글에서는 VPC 설정, IAM 역할 관리, 데이터 암호화, 네트워크 접근 제어 등 구체적인 보안 강화 방안을 제시합니다. 특히, 외부 네트워크와의 연결을 최소화하고 필요한 경우에만 제한적으로 접근을 허용하는 것이 중요함을 강조합니다. 또한, SageMaker Studio의 보안 기능과 함께 노트북 인스턴스 자체의 보안 설정을 최적화하여 데이터 유출 위험을 줄이는 방법을 안내합니다. 이를 통해 개발자는 안심하고 SageMaker 환경에서 데이터를 다룰 수 있으며, 규정 준수 및 보안 요구사항을 충족할 수 있습니다.
Amazon SageMaker데이터 보호폐쇄 환경
메가존클라우드·2023년 8월 9일
AI
AWS Glue로 Ray 프레임워크 이용 하기 (평가판 이용)
이 글은 AWS Glue에서 Ray 프레임워크를 평가판으로 이용하는 방법을 소개합니다. Ray는 분산 컴퓨팅을 위한 오픈소스 프레임워크로, 머신러닝 워크로드 처리에 유용합니다. 글에서는 Ray를 사용하지 않는 경우, Ray를 사용한 경우, 그리고 AWS Glue for Ray를 사용한 경우를 비교하며 AWS Glue Job 생성부터 Ray 코드를 사용한 Job 실행까지의 과정을 설명합니다. 사전 준비 사항으로 S3 버킷 생성과 Glue용 IAM 역할 생성이 필요하며, Python Shell script editor를 선택하여 진행합니다. 이 기능은 현재 평가판으로 제공되며, 향후 릴리스 시 기능 변경 가능성이 있음을 명시합니다.
AWS GlueRay머신러닝
메가존클라우드·2023년 1월 11일
AI
Amazon re:MARS 2022를 다녀오고
이 글은 Amazon re:MARS 2022 컨퍼런스 참석 후기를 다룹니다. 필자는 뉴욕 생활을 마치고 한국으로 돌아와 메가존클라우드에서 머신러닝을 담당하고 있으며, 예상치 못하게 회사 출장으로 re:Invent 2021과 re:MARS 2022에 연이어 참석하게 된 경험을 공유합니다. re:MARS는 Machine Learning, Automation, Robotics, Space의 약자로, 미래 기술 동향을 파악하는 데 중점을 둔 행사입니다. 특히 제프 베조스의 개인 행사에서 발전된 아마존 주최 행사이며, 키노트 세션이 미래 기술 방향성을 제시하는 중요한 역할을 합니다. 필자는 두 번째 라스베가스 방문이라 행사에 더욱 적극적으로 참여할 수 있었으며, 컨퍼런스의 주요 구성 요소인 Keynote, Breakout Session, Chalk Talk, Workshop에 대해 언급합니다.
Amazon re:MARS 2022머신러닝자동화
메가존클라우드·2022년 8월 8일
AI
Apache Airflow와 Amazon SageMaker Feature Store 연동하기
이 글은 Apache Airflow와 Amazon SageMaker Feature Store를 연동하여 머신러닝 파이프라인의 효율성을 높이는 방법을 다룹니다. Apache Airflow는 Python 기반의 워크플로우 관리 오픈소스 플랫폼으로, 머신러닝 파이프라인 구축에 유용하게 사용됩니다. Feature Store는 조직 내에서 feature를 공유하고 재사용하기 위한 저장소로, 중복 feature 추출을 방지하고 메인 DB 부하를 줄이는 장점이 있습니다. 글에서는 AWS re:Invent 2020에서 출시된 SageMaker Feature Store를 사용하여 feature engineering 후 feature를 저장하는 과정을 검증합니다. 구체적으로 EC2 인스턴스에 Docker로 Airflow를 설치하고, S3에서 데이터를 불러와 전처리한 뒤 SageMaker Feature Store에 업로드하는 DAG를 작성하는 과정을 설명합니다. 이를 통해 프로덕션 환경에서 머신러닝 모델 학습에 필요한 feature를 효율적으로 관리할 수 있는 방안을 제시합니다.
Apache AirflowAmazon SageMaker Feature StoreFeature Store
메가존클라우드·2021년 9월 13일