검색 결과

“LLM”20건

All Frontend Backend AI DevOps Architecture Etc

AI
MLOps 정의와 다양한 도구들 (1편)
이 글은 기계 학습 프로젝트의 높은 실패율을 언급하며 MLOps의 필요성을 강조합니다. MLOps는 Machine Learning Operations의 약자로, 데이터 전처리부터 모델 개발, 배포, 운영까지 기계 학습의 전체 라이프사이클을 관리하는 기술 및 도구를 의미합니다. 기존 DevOps에 '데이터'와 '훈련 모델' 개념이 추가되었으며, CI/CD에 CT(Continuous Training)와 CE(Continuous Evaluation)가 더해져 모델의 지속적인 재훈련 및 평가를 통해 성능을 유지하는 것을 목표로 합니다. MLOps는 연구 성과를 실제 서비스에 적용하고 지속적으로 관리하는 데 필수적인 요소임을 설명합니다.
MLOps머신러닝딥러닝
데보션·2022년 2월 9일
AI
MLX: Apple silicon 용 Machine Learning 프레임워크 - 03.Multi-Layer Perceptron example
이 글은 Apple Silicon을 위한 새로운 머신러닝 프레임워크인 MLX를 사용하여 Multi-Layer Perceptron(MLP) 예제를 구현하는 방법을 설명합니다. MLX는 PyTorch와 유사한 API를 제공하여 기존 PyTorch 코드를 쉽게 마이그레이션할 수 있다는 점을 강조합니다. MNIST 데이터셋을 활용하여 MLP 모델을 정의하고, PyTorch와의 코드 유사성을 비교하며 MLX의 간결성과 사용 편의성을 보여줍니다. MLX를 통해 Apple Silicon 환경에서 효율적인 머신러닝 모델 개발이 가능함을 시사합니다.
MLXApple Silicon머신러닝
데보션·2024년 1월 30일
AI
2조 토큰을 카테고리 분류에 쓰면서 알게된 것들
당근 Taxonomy 팀은 서비스 내 게시글을 자동으로 분류하기 위해 LLM을 활용하는 프로덕션 파이프라인을 구축했습니다. 이 글에서는 택소노미(Taxonomy)의 개념과 중요성을 설명하고, LLM을 카테고리 분류에 적용하면서 겪었던 성능, 비용, 운영 측면에서의 고민과 해결 과정을 공유합니다. 특히 2조 토큰 규모의 데이터를 처리하며 분류 품질을 높이기 위한 다양한 시도와 노하우를 다룹니다. 이를 통해 LLM 기반의 자동 분류 시스템을 실제 서비스에 성공적으로 적용한 사례를 보여줍니다.
LLM카테고리 분류Taxonomy
당근마켓·2026년 2월 27일
AI
vLLM로 효율적인 모델 서빙하기
이 글은 대규모 언어 모델(LLM)을 효율적으로 서빙하기 위한 방법으로 vLLM 라이브러리를 소개합니다. vLLM는 PagedAttention 메커니즘을 통해 메모리 사용량을 최적화하고 처리량을 크게 향상시켜, 기존 방법 대비 더 나은 성능을 제공합니다. 특히, 여러 요청을 동시에 처리할 때 발생하는 메모리 단편화 문제를 해결하고, 연속적인 버퍼 관리를 통해 GPU 메모리를 효율적으로 활용하는 방법을 설명합니다. 이를 통해 LLM 모델 서빙의 비용 효율성과 응답 속도를 개선할 수 있음을 보여줍니다. Python 기반으로 구현되어 사용이 간편하며, 다양한 LLM 모델에 적용 가능합니다.
vLLMModel ServingLLM
데보션·2025년 2월 12일
AI
언어 모델의 Fine-Tuning 성능 올리기
본 포스팅은 거대 언어 모델(LLM)의 Fine-tuning 성능을 향상시키는 다양한 방법론을 소개합니다. LLM은 대규모 텍스트 말뭉치를 통해 단어 예측 방식으로 학습되며, 이를 통해 번역, 연산 등 다양한 범용 task를 해결하는 in-context learning 능력을 갖춥니다. Llama 2와 같은 LLM은 수백 GB에서 수 TB 이상의 데이터를 사용하여 학습됩니다. 이 글은 자연어 처리에 관심 있는 엔지니어 및 연구자를 대상으로 하며, LLM의 Fine-tuning 성능을 높이는 여러 방법론의 존재 자체에 초점을 맞춥니다. 특정 task에 대한 상세한 내용은 다루지 않지만, Introduction 부분은 관련 지식이 없어도 이해할 수 있도록 작성되었습니다.
LLMFine-tuningLanguage Model
데이블·2024년 7월 15일
AI
“보이는 데이터”를 “쓸 수 있는 데이터 “로: 코오롱몰의 LLM 기반 상품 속성 추출 여정
코오롱몰은 패션 이커머스 플랫폼으로서 고객에게 더 나은 쇼핑 경험을 제공하기 위해 AI 기술을 적극 활용하고 있습니다. 이 글은 코오롱몰이 LLM을 활용하여 상품 상세 이미지에만 존재하던 '보이는 데이터'를 '쓸 수 있는 데이터'로 전환하는 여정을 다룹니다. 패션 커머스에서 중요한 상품 메타데이터(사이즈, 소재, 핏 등)가 대부분 이미지 안에만 존재하고 데이터베이스에는 활용 가능한 형태로 저장되지 않는 문제를 발견했습니다. 이를 해결하기 위해 수십만 개의 상품 이미지에서 정보를 추출하고, 브랜드별 표기법 차이를 처리하며, 추출된 정보의 정확성을 보장하고 실시간 서비스 반영을 자동화하는 과제를 안고 있었습니다. 코오롱몰은 이러한 문제를 해결하기 위해 Amazon Bedrock을 활용하여 이미지 OCR부터 의미 있는 구조화, 상품 DB 반영까지의 과정을 자동화하는 AI 기반 솔루션을 구축했습니다.
LLM상품 속성 추출Amazon Bedrock Agents
AWS·2025년 8월 6일
AI
Amazon SageMaker로 LLM 응답 Streaming 서빙하기
이 글은 Amazon SageMaker를 사용하여 LLM 응답을 스트리밍 방식으로 서빙하는 방법을 설명합니다. 일반적으로 SageMaker 모델은 API Gateway와 Lambda를 통해 서빙되지만, API Gateway는 응답 스트리밍을 지원하지 않습니다. 이를 해결하기 위해 본문에서는 Node.js 기반의 Lambda Function을 사용하여 모델 응답을 토큰 단위로 스트리밍하는 방법을 제시합니다. 또한, CloudFront와 Lambda Function URL을 연동하여 sigV4 인증을 우회하고 효율적으로 모델 응답을 스트리밍하는 방안을 소개합니다. 이는 LLM과 같이 응답 생성에 시간이 오래 걸리는 모델의 사용자 경험을 개선하는 데 초점을 맞추고 있습니다.
SageMakerLLMStreaming
데보션·2024년 9월 11일
AI
Prompt Chaining, 구조화가 LLM에 끼치는 영향
이 글은 Prompt Chaining 기법을 통해 LLM의 성능을 향상시키는 방법에 대해 다룹니다. Prompt Chaining은 여러 개의 프롬프트를 순차적으로 연결하여 복잡한 작업을 수행하도록 하는 기술입니다. 글에서는 이러한 구조화된 프롬프트가 LLM의 응답 품질과 일관성을 어떻게 개선하는지 설명하며, 특히 특정 작업에 대한 LLM의 이해도를 높이고 원하는 결과를 얻기 위한 전략을 제시합니다. Prompt Chaining은 LLM을 활용한 애플리케이션 개발에서 중요한 역할을 하며, 프롬프트 엔지니어링의 핵심 기법 중 하나로 소개됩니다. 이를 통해 개발자는 LLM의 잠재력을 최대한 활용하여 더욱 정교하고 유용한 AI 서비스를 구축할 수 있습니다.
Prompt ChainingLLM구조화
데보션·2024년 6월 4일
AI
LLM의 Re-Ranking Ability 검색에 이식하기 2편 - LLM을 활용한 최신성 반영
이 글은 LLM의 재순위화(Re-Ranking) 능력을 검색 모델에 이식하는 두 번째 이야기로, 문서의 최신성을 반영하여 검색 결과의 품질을 높이는 방법에 대해 다룹니다. 기존 검색 모델은 문서의 연관성만을 고려하여 최신 정보가 누락될 수 있는 한계가 있었습니다. 이를 해결하기 위해 LLM을 활용하여 문서의 연관성 점수를 예측하고, 이 점수를 기반으로 최신 문서를 우선적으로 노출하는 RRA-T 모델을 제안합니다. 기존 모델의 점수 분포 불균일 문제를 해결하기 위해 새로운 학습 방식을 도입하여, 연관성과 최신성을 모두 고려한 효과적인 랭킹 시스템 구축 경험을 공유합니다.
LLM랭킹검색
네이버·2024년 12월 30일
AI
LLM을 활용한 스마트폰 시세조회 서비스 구축
이 글은 LLM을 활용하여 중고 스마트폰 시세 조회 서비스를 구축한 경험을 공유합니다. 기존 중고거래 플랫폼에서 사용자들이 물품의 적정 가격을 파악하기 어려워하는 문제를 해결하기 위해, LLM을 이용해 중고 스마트폰 게시글에서 모델, 용량, 상태 등 상세 정보를 자동으로 추출하고 이를 기반으로 시세를 산출하는 방법을 소개합니다. 글에서는 LLM을 활용한 게시글 분류 및 정제, BigQuery를 이용한 후처리 및 시세 집계, 그리고 벡터 DB를 활용한 유사 게시글 추천 과정까지 단계별로 설명합니다. 이를 통해 사용자 경험을 개선하고 효율적인 가격 결정을 돕는 서비스 구축 사례를 제시하며, LLM 기반 서비스 개선에 관심 있는 개발자들에게 유용한 정보를 제공합니다.
LLM스마트폰 시세조회중고거래
당근마켓·2025년 2월 26일
AI
이미지 비디오 Multi-modal 추론 모델, LLaVA-NeXT-Video 모델을 Amazon SageMaker에 배포하기
본 글은 비디오 이해 능력을 강화한 대형 멀티모달 모델(LMM)인 LLaVA-NeXT-Video를 Amazon SageMaker에 배포하는 방법을 다룹니다. LLaVA-NeXT-Video는 LLaVA-NeXT를 기반으로 비디오 데이터 학습을 강화했으며, AnyRes 기술을 활용한 제로샷 비디오 표현 능력과 선형 스케일링 기술을 통한 길이 일반화가 특징입니다. 또한, Supervised Fine-Tuning(SFT)과 Direct Preference Optimization(DPO)을 통해 비디오 이해 능력을 향상시켰습니다. 이를 통해 기존 오픈 소스 모델 대비 뛰어난 성능을 보여주며, 특히 긴 비디오 처리와 제로샷 성능에서 강점을 가집니다. SageMaker 배포를 통해 이러한 고급 멀티모달 모델을 실제 서비스에 활용할 수 있는 기반을 마련합니다.
LLaVA-NeXT-Video멀티모달비디오 이해
AWS·2024년 9월 5일
AI
똑똑한 Agent를 만드는 방법: 워크플로우 개발
이 글은 똑똑한 Agent를 만드는 방법, 특히 워크플로우 개발에 초점을 맞추고 있습니다. 데보션(DEVOCEAN) 기술 블로그의 일부로, AI 기술과 관련된 내용을 다룹니다. 글의 주요 내용은 Agent의 지능을 향상시키기 위한 워크플로우 설계 및 구현 방법에 대한 탐구입니다. LLM과 같은 최신 AI 기술을 활용하여 Agent의 능력을 극대화하는 방안을 모색하며, 개발자 커뮤니티인 데보션에서 공유하는 기술 정보의 일환으로 볼 수 있습니다. 구체적인 워크플로우 개발 방법론이나 사례는 본문에서 더 자세히 다루어질 것으로 예상됩니다.
Agent개발 워크플로우LLM
데보션·2024년 4월 4일
AI
하이퍼엑셀(HyperAccel), Amazon EC2 F2 Instance 기반 LPU로 고효율 LLM 추론 서비스 구축
본 글은 하이퍼엑셀이 Amazon EC2 F2 인스턴스와 FPGA 기반 LPU(LLM Processing Unit) 아키텍처를 활용하여 고효율 LLM 추론 서비스를 구축한 사례를 소개합니다. EC2 F2 인스턴스는 FPGA를 기반으로 특정 연산에 최적화된 하드웨어 가속을 제공하여 범용 프로세서 대비 높은 성능과 전력 효율을 자랑합니다. 하이퍼엑셀은 이러한 F2 인스턴스의 특성을 활용해 기존 물리 서버 기반 LPU 환경을 AWS 클라우드로 확장, 고객이 온디맨드 방식으로 LPU의 성능을 활용할 수 있도록 지원했습니다. 이를 통해 PoC 운영 효율성을 높이고 비용 구조를 개선하는 성과를 거두었습니다. LPU는 트랜스포머 모델 연산에 맞춰 설계되어 A100 GPU 대비 높은 추론 처리량과 전력 효율을 제공하며, LLM 도입 기업들의 비용, 전력 소모, 확장성 문제를 해결하는 데 기여합니다.
LLMFPGAEC2 F2
AWS·2026년 1월 9일
AI
Flowise와 LLM을 활용한 에러 분석 자동화
서비스 개발 중 발생하는 클라이언트 에러의 원인 분석 및 해결 방안 제시 자동화를 통해 팀 생산성을 향상시킨 경험을 공유합니다. 기존에는 불친절하거나 추상화된 에러 메시지로 인해 원인 파악 및 해결에 많은 시간이 소요되었으나, LLM을 활용하여 이를 개선했습니다. Flowise라는 오픈소스 LLM 워크플로 빌더를 사용하여 시각적인 인터페이스로 LLM 체인을 구성했습니다. ChatOpenAI, API Loader, Structured Output Parser, Chat Prompt Template 등의 구성 요소를 활용했으며, 특히 Swagger를 통해 제공되는 API 스펙 문서를 LLM의 메타데이터로 활용하여 에러 분석의 정확도를 높였습니다. 이를 통해 개발팀은 에러 분석에 드는 시간을 단축하고 핵심 개발에 집중할 수 있게 되었습니다.
LLMFlowise에러 분석
토스·2025년 5월 26일
AI
LangGraph를 활용한 멀티 노드 구현 : 패턴 A, B, C 분석
본 글은 LangChain을 기반으로 LLM 워크플로우를 그래프 형태로 설계하고 시각화할 수 있는 LangGraph 라이브러리를 소개합니다. LangGraph는 노드와 엣지를 사용하여 조건 분기, 병렬 실행, 상태 관리 등 복잡한 LLM 실행 과정을 체계적으로 모델링할 수 있게 해줍니다. 글에서는 LangGraph의 기본 개념인 노드와 엣지를 설명하고, '답변 생성 → 개선', '요약 → 번역', '답변 생성 → 검증'과 같은 세 가지 패턴(A, B, C)을 예시로 들어 LangGraph의 활용 가능성을 보여줍니다. 이를 통해 단순 챗봇을 넘어 다양한 에이전트, 검증 시스템 등 LLM 기반 애플리케이션의 확장성과 유지보수성을 높일 수 있음을 강조합니다.
LangGraphLangChainLLM
데보션·2025년 11월 13일
AI
RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?
이 글은 RLHF(Reinforcement Learning from Human Feedback) 외에 대규모 언어 모델(LLM)이 사용자 피드백을 학습할 수 있는 다양한 방법론을 탐구합니다. RLHF는 유용하고 안전한 답변 생성을 위해 강화학습을 활용하지만, 복잡한 학습 과정과 다수의 모델 필요성으로 인해 많은 GPU 리소스와 학습 시간을 요구합니다. 글에서는 이러한 RLHF의 단점을 극복하기 위한 대안으로 DeepSpeed, FSDP, CPU Offloading, Parameter sharing, LoRA와 같은 Parameter Efficient Fine-tuning (PEFT) 기법을 RLHF에 적용하는 방안을 소개합니다. 이를 통해 LLM의 학습 효율성을 높이고 더 나은 대화 어시스턴트를 개발하는 데 기여할 수 있음을 시사합니다.
LLMRLHFHuman Feedback
스캐터랩_핑퐁·2023년 11월 16일
AI
if(kakaoAI)2024, AI 기술 세션 소개
if(kakaoAI)2024 기술 세션은 'AI'를 주제로 37개의 발표가 진행되었습니다. 사용자의 상황을 이해하고 플랫폼, 사람, 사물의 지능적 연결을 목표로 하는 다양한 데이터 기반 서비스 개발 경험을 공유합니다. AI Agent, AI Service, AI Platform, AI Native, Multimodal AI, AI Responsibility, AI Safety 등 다양한 카테고리로 카카오 AI의 현재와 미래를 조망했습니다. 특히, 컨텍스트 인지 AI 서비스, AIOT 플랫폼 구조와 미래, 데이터 분석 및 머신러닝을 활용한 맛집 추천, LLM 추론 구조와 효율적인 애플리케이션 설계 등 구체적인 기술 사례와 개발 과정, 고민을 다루었습니다.
AILLMAIOT
카카오·2024년 10월 21일
AI
RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?
이 글은 RLHF(Reinforcement Learning from Human Feedback) 외에 대규모 언어 모델(LLM)이 사용자 피드백을 학습할 수 있는 다양한 방법론을 소개하고, 핑퐁팀의 실험 경험을 공유합니다. RLHF는 사람의 피드백을 통해 리워드 모델을 학습시켜 안전하고 유용한 답변을 생성하도록 LLM을 파인튜닝하는 방식입니다. 하지만 RLHF는 복잡한 학습 과정, 다수의 모델 필요, 높은 GPU 리소스 요구 등의 단점을 가집니다. 이에 대한 대안으로 DeepSpeed, FSDP, CPU Offloading, Parameter sharing, LoRA와 같은 PEFT(Parameter Efficient Fine-Tuning) 기법을 RLHF에 적용하는 방안을 모색합니다. 이를 통해 LLM 학습의 효율성을 높이고 더 나은 대화 어시스턴트를 개발하는 방법을 탐구합니다.
LLMRLHFHuman Feedback
스캐터랩_핑퐁·2023년 11월 17일
AI
MLOps를 위한 BentoML 기능 및 성능 테스트 결과 공유 - 1
이 글은 LINE에서 개발 중인 Financial Data Platform의 MLOps 모델 서빙 부분에 초점을 맞춥니다. 저자는 MLOps를 특정 툴이 아닌 방법론으로 정의하며, 데이터 수집부터 모니터링까지 다양한 구성 요소를 포함한다고 설명합니다. 특히, 모델을 쉽고 빠르게 프로덕션 환경에 배포할 수 있도록 돕는 오픈소스 도구인 BentoML을 소개합니다. 과거 모델 서빙의 복잡성과 서버 엔지니어링의 필요성을 지적하며, BentoML이 모델러와 서버 엔지니어 모두의 부담을 줄여 모델 갱신 주기를 단축하고 비즈니스 집중도를 높이는 데 기여한다고 말합니다. 글에서는 BentoML의 기능과 성능을 실제 서비스 적용을 위한 기준으로 테스트한 결과를 공유할 예정입니다.
MLOpsBentoML모델 서빙
라인·2021년 11월 30일
AI
AWS 기술 파트너와 함께 구축한 푸드테크 기업 식신의 Amazon Bedrock 기반 AI 대시보드 구축기
푸드테크 기업 식신이 월간 350만 사용자 데이터를 기반으로 Amazon Bedrock과 Snowflake를 활용하여 AI 대시보드를 구축한 경험을 공유합니다. 100만 개 이상의 맛집 데이터와 서비스 운영 경험을 바탕으로 트렌드를 반영한 메뉴 기반 인사이트 제공 서비스를 목표로 했습니다. Amazon S3에 데이터를 저장하고 Snowflake 파이프라인을 통해 데이터를 통합 및 가공하여 Amazon Bedrock의 LLM을 활용한 AI 애플리케이션 구축의 기반을 마련했습니다. 이를 통해 지역별 인기 메뉴, 메뉴 트렌드, 상황별 테마 데이터 등을 실시간으로 확인할 수 있는 분석형 대시보드, 컨텐츠형 위젯, API 등을 제공할 수 있게 되었습니다.
Amazon Bedrock AgentsLLMAI 대시보드
AWS·2024년 8월 2일