마키나락스

RSS

게시글: 19
등록: 2026년부터

All Frontend Backend AI DevOps Architecture Etc

AI
Application Specific Integrated Circuit (ASIC) Floorplan Automation - Part II
본 글은 ASIC 반도체 설계 과정 중 플로어플랜 단계의 배치 최적화 문제를 강화학습으로 해결하는 방법을 다룹니다. 특히, Naver Deview 21 발표 내용을 기반으로 하며, 이전 글에서 설명된 과정들을 거쳐 강화학습 에이전트가 칩 배치 문제를 학습하는 과정을 시각 자료와 함께 보여줍니다. 애니메이션은 약 1500번의 학습 반복 후 매크로(대형 녹색 사각형)와 표준 셀 클러스터(소형 파란색 사각형)의 배치가 안정화되는 과정을 나타냅니다. 학습을 통해 에이전트는 매크로를 칩 바깥쪽에, 표준 셀 클러스터를 안쪽에 배치하는 방법을 학습했음을 알 수 있습니다. 이는 칩 설계의 핵심 단계인 플로어플랜 최적화에 강화학습을 적용하여 효율성을 높일 수 있음을 시사합니다.
ASIC반도체 설계강화학습
마키나락스·2023년 12월 7일
AI
주문형 반도체 (ASIC) Floorplan 자동화 - Part III
본 글은 주문형 반도체(ASIC)의 복잡한 물리적 설계 단계인 Floorplan 자동화 프로젝트에 강화학습을 적용한 사례를 소개합니다. Naver Deview 21 발표 영상과 연계된 이 프로젝트는 약 1년 반에 걸쳐 진행되었으며, 특히 복잡한 문제에서 기존 반도체 설계 전문가들의 결과보다 더 적은 시간 안에 더 나은 성능의 배치를 생성하는 데 성공했습니다. 강화학습을 통해 소자들의 최적 위치를 학습하는 과정을 시각적으로 보여주며, 4차 산업혁명 시대에 증가하는 ASIC 수요에 맞춰 효율적인 설계의 중요성을 강조합니다. 이 프로젝트는 산업 현장의 난제를 해결하기 위한 Combinatorial Optimization Problem(COP)팀의 노력의 일환입니다.
강화학습ASIC반도체 설계
마키나락스·2023년 1월 26일
AI
주문형 반도체 (ASIC) Floorplan 자동화 - Part II
본 글은 주문형 반도체(ASIC) 설계의 Floorplan 단계에서 발생하는 배치 최적화 문제를 강화학습을 이용하여 해결하는 프로젝트를 소개합니다. 특히 구글에서 발표한 'A graph placement methodology for fast chip design' 논문에 기반하여, 수십~수백만 개의 트랜지스터 연결성을 고려해야 하는 복잡한 Floorplan 과정의 자동화를 목표로 합니다. Macro와 Standard Cell이라는 주요 소자들의 배치를 최적화하는 과정을 다루며, 강화학습 에이전트가 Macro는 칩 바깥쪽에, Standard Cell Cluster는 안쪽에 배치하도록 학습하는 애니메이션을 통해 그 효과를 시각적으로 보여줍니다. 약 5개월간의 프로젝트 경험을 바탕으로 Floorplan 문제에 대한 이해부터 솔루션 구현까지의 과정을 공유하며, 산업의 난제에 도전하는 강화학습의 가능성을 제시합니다.
강화학습ASICFloorplan
마키나락스·2021년 12월 3일
AI
주문형 반도체 (ASIC) Floorplan 자동화 - Part I
본 글은 MakinaRocks의 COP 팀에서 진행하는 주문형 반도체(ASIC) 소자 배치를 자동화하는 Floorplan Automation 프로젝트를 소개합니다. ASIC은 특정 제품을 위해 주문 제작된 반도체로, 낮은 소비전력, 빠른 속도, 높은 집적도를 목표로 합니다. ASIC 설계는 System-Level Design, Logic Design, Physical Design 세 단계로 진행되며, Floorplan은 Physical Design의 핵심 과정입니다. 본 글은 Floorplan Automation의 산업적 의미와 COP 팀이 해결하고자 하는 문제점을 요약하고, 다음 편에서 문제 해결 과정을 상세히 다룰 것을 예고합니다. 특히, 강화학습과 같은 AI 기술을 활용하여 복잡한 조합 최적화 문제를 해결하는 데 초점을 맞추고 있습니다.
ASICFloorplan Automation주문형 반도체
마키나락스·2021년 12월 3일
AI
Kubeflow/Katib의 안전한 사용과 커뮤니티를 위해 기여하기
마키나락스 Platform 팀은 Kubeflow를 기반으로 MLOps 플랫폼을 개발하며, 특히 Hyperparameter Tuning 및 Neural Architecture Search 기능을 제공하는 Katib 컴포넌트 활용 경험을 공유합니다. Kubeflow는 Kubernetes 기반 ML 워크플로우 플랫폼이지만, 출시 초기라 사용에 불편함이 존재합니다. 이에 팀은 일부 기능을 커스터마이징하고 자체 구현했으며, 보편적으로 적용 가능한 기능은 Pull Request를 통해 오픈소스 프로젝트에 기여했습니다. 본 포스팅은 Katib 사용 중 겪었던 불편 사항과 이를 개선하여 오픈소스에 기여한 경험을 중심으로 다룹니다. 특히, 사내 Kubernetes 클러스터에서 약 10개의 GPU 서버를 활용한 병렬 HPO 수행 배경과 관련 내용을 상세히 설명합니다.
KubeflowKatibMLOps
마키나락스·2021년 8월 31일
AI
오픈소스(RLlib) 문제 발견부터 컨트리뷰션 까지
마키나락스 OLP 팀은 제조 공장의 Multi-Robot Arm 경로계획 문제를 해결하기 위해 강화학습을 사용합니다. 실제 로봇 대신 시뮬레이터를 활용하여 학습 효율성을 높이고 비용 및 안전 문제를 해결하고자 합니다. 이 과정에서 사용된 오픈소스 RLlib 라이브러리에서 발견한 문제점을 분석하고, 직접 컨트리뷰션하여 해결한 경험을 공유합니다. 오픈소스는 코드 접근성, 수정, 배포가 자유로우며, 기여자는 기술 연마와 커뮤니티 발전에 기여할 수 있습니다. 회사 입장에서도 오픈소스 개선, 기술력 성장, 대외 인지도 향상 등의 이점을 얻을 수 있습니다. 본 글은 ML-Agents와 Ray RLlib을 소개하며, RLlib을 활용한 분산 강화학습 환경 구축 및 기여 과정을 상세히 다룹니다.
강화학습RLlib오픈소스
마키나락스·2021년 8월 10일
AI
실시간 데이터 검증하기
제조업에서 실시간으로 이상을 탐지하는 시스템은 공정 변화로 인한 데이터 분포 변화에 취약합니다. 마키나락스는 학습과 추론이 동시에 가능한 코드로 모델을 배포하고, 실시간으로 수집된 데이터로 모델을 재학습하는 방식을 사용합니다. 이 과정에서 모델의 안정적인 학습과 추론을 위해 데이터 유효성 테스트가 필수적입니다. 본 글에서는 데이터 스키마(타입, 범위, 필수 속성), 피처 순서, 데이터셋 시프트(분포 변화)라는 세 가지 측면에서 실시간 데이터의 유효성을 검증하는 방법을 소개합니다. 이를 통해 예상치 못한 데이터 입력으로 인한 모델 성능 저하 및 오류를 사전에 방지할 수 있습니다.
이상탐지 시스템실시간 데이터데이터 유효성 테스트
마키나락스·2021년 5월 21일
AI
Chip Placement with Deep Reinforcement Learning
본 글은 Google의 'Chip Placement with Deep Reinforcement Learning' 논문을 소개하며, 반도체 설계 공정 중 하나인 Chip Placement 문제를 딥러닝 기반 강화학습으로 해결하는 방안을 다룹니다. Chip Placement는 반도체 설계 도면(Netlist)의 소자(Macro, Standard Cell)들을 주어진 공간(Chip Canvas)에 배치하여 성능, 전력, 면적 등 최적의 결과를 얻는 조합 최적화 문제입니다. 기존의 휴리스틱 알고리즘은 복잡성과 최적화 한계가 있었으나, 강화학습은 이러한 문제를 해결할 잠재력을 보여줍니다. 논문에서는 강화학습 에이전트가 배치 결정을 내리고, 이를 통해 기존 방법론 대비 우수한 성능을 달성했음을 설명합니다. 이는 AI 기술이 복잡한 공학 문제 해결에 어떻게 기여할 수 있는지 보여주는 사례입니다.
Chip PlacementDeep Reinforcement Learning반도체 설계
마키나락스·2021년 2월 15일
AI
Chip Placement on FPGA 프로젝트를 소개합니다!
MakinaRocks의 COP 팀은 2020년 9월부터 2021년 1월까지 Furiosa AI와 협력하여 반도체 설계 공정 중 하나인 Placement & Routing에 강화학습을 적용하는 프로젝트를 진행했습니다. 이 프로젝트는 Google의 'Chip Placement with Deep Reinforcement Learning' 논문에 기반하지만, ASIC 대신 FPGA를 대상으로 한다는 점에서 차이가 있습니다. 목표는 논리적으로 정의된 소자 연결 그래프를 입력받아 개별 소자의 물리적 위치를 결정하는 강화학습 에이전트를 개발하여 P&R 공정의 Placement 작업을 해결하는 것입니다. 이를 통해 상용 FPGA 자동화 도구와 비교하여 효율적인 문제 해결 가능성을 확인했습니다.
강화학습FPGA반도체 설계
마키나락스·2021년 2월 15일
AI
Neural Combinatorial Optimization with Reinforcement Learning
본 포스팅은 딥러닝을 활용하여 조합 최적화 문제를 해결하는 연구 분야인 Neural Combinatorial Optimization을 소개합니다. 특히, 조합 최적화 문제 해결에 강화학습을 적용한 대표적인 연구를 다룹니다. 조합 최적화 문제는 유한한 탐색 공간에서 최적의 해를 찾는 문제로, 순회 세일즈맨 문제(TSP), 작업 공정 스케줄링, 배낭 문제 등이 있으며 대부분 NP-Hard 문제입니다. TSP는 주어진 노드를 모두 방문하고 시작점으로 돌아올 때 총 여행 거리를 최소화하는 순회 순서를 결정하는 문제로, 탐색 공간이 매우 커서 효율적인 해결책이 중요합니다. 본문에서는 이러한 조합 최적화 문제에 딥러닝과 강화학습을 접목하여 해결하려는 시도를 소개하고 있습니다.
Neural Combinatorial OptimizationReinforcement Learning딥러닝
마키나락스·2021년 2월 11일
AI
Noisy Gradient 다루기
이 글은 딥러닝 학습 시 발생하는 'Noisy Gradient Problem'에 대해 다룹니다. Noisy Gradient는 Stochastic Gradient Descent(SGD)에서 미니배치로 계산된 Gradient의 오차(Variance)가 커서 학습이 불안정해지는 현상을 의미합니다. 이러한 문제는 Loss Surface에서 최적점으로 수렴하는 데 어려움을 초래하며, 실제 NLP 분야의 Transformer 모델에서도 학습 초기의 불안정성을 해결하기 위해 Warmup 기법을 사용하는 사례가 있습니다. 글에서는 Noisy Gradient Problem의 개념을 설명하고, 이로 인해 발생하는 학습의 어려움을 시각적인 자료와 함께 제시하며, 마키나락스에서 겪었던 실제 사례를 통해 문제 해결 방안을 모색할 것임을 예고합니다.
딥러닝Noisy GradientSGD
마키나락스·2020년 12월 29일
AI
Distributed PPO 구현
본 글은 강화학습의 긴 학습 시간을 단축하기 위한 PPO(Proximal Policy Optimization)의 분산 처리에 대해 다룹니다. PPO는 OpenAI에서 개발한 알고리즘으로, TRPO의 복잡한 계산 과정을 효율화한 것이 특징입니다. PPO 학습 과정에서 고정 길이의 trajectory segment를 N개의 actor로부터 수집하고, 이를 모아 M 크기의 mini-batch로 K epoch만큼 학습하는 방식을 설명합니다. 이러한 분산 처리를 통해 PPO의 학습 효율성을 높이는 방법을 제시하며, 강화학습 프로젝트의 병목 현상을 해결하는 데 기여할 수 있음을 시사합니다.
PPO강화학습분산 처리
마키나락스·2020년 12월 1일
AI
Building a Reinforcement Learning Environment
이 글은 강화학습(RL)을 실제 산업 환경에 적용할 때 직면하는 훈련 환경 설계의 어려움에 대해 다룹니다. 게임 분야에서는 RL 환경 설계가 비교적 간단하지만, 실제 산업 환경에서는 안전, 비용, 시간 등의 제약으로 인해 직접 훈련하는 것이 어렵습니다. 산업용 시뮬레이터를 사용하는 방법은 정밀한 물리 엔진을 활용할 수 있지만, 라이선스 비용과 외부 제어의 어려움이 있습니다. 따라서 유연성을 높이기 위해 맞춤형 시뮬레이션 환경을 직접 구축하는 방안을 제시하며, 각 접근 방식의 장단점을 비교 분석합니다.
Reinforcement LearningRLAI
마키나락스·2020년 12월 1일
AI
RaPP - Novelty Detection with Reconstruction along Projection Pathway
본 포스팅은 마키나락스에서 ICLR 2020에 발표한 RaPP(Reconstruction along Projection Pathway) 논문을 소개합니다. RaPP는 기존 오토인코더 기반 이상 탐지 방법의 reconstruction error를 개선하여 성능을 향상시키는 새로운 anomaly score metric입니다. 학습 과정은 변경하지 않고, 테스트 시에만 수정된 metric을 적용하는 것이 특징입니다. 입력 샘플을 오토인코더에 통과시켜 얻은 재구성 결과와 원본 샘플 간의 오차를 계산하는 기존 방식과 달리, RaPP는 재구성된 결과를 다시 인코더에 통과시켜 얻은 중간 레이어의 특징과 원본 샘플의 중간 레이어 특징 간의 거리를 측정하여 이상 점수를 계산합니다. 이를 통해 더 정교한 이상 탐지가 가능해지며, 페이퍼에서 다루지 못한 추가적인 인사이트도 공유합니다.
이상탐지오토인코더RaPP
마키나락스·2020년 2월 18일
AI
Introduction to Deep Anomaly Detection
본 포스트는 이상탐지(Anomaly Detection) 알고리즘에 대해 소개합니다. 이상탐지 알고리즘은 정상 데이터를 기반으로 비정상 데이터를 판별하는 기술로, 신용카드 사기 탐지, 영상 감시, 자율 주행, 제조업에서의 장비 및 제품 불량 탐지 등 다양한 분야에 활용될 수 있습니다. 특히, 실제 환경에서는 정상 데이터에 비해 비정상 데이터가 현저히 적은 불균형 데이터셋(imbalanced dataset) 문제가 발생하기 쉬운데, 이는 일반적인 분류 알고리즘 적용을 어렵게 만듭니다. 이러한 불균형 데이터셋은 딥러닝 모델이 비정상 데이터의 특징을 제대로 학습하지 못하게 하거나, 단순히 다수 클래스로 예측하는 경향을 보이게 합니다. 또한, 비정상 데이터는 정상 데이터에 비해 다양한 패턴을 가질 수 있어, 적은 양으로는 모든 패턴을 학습하기 어렵다는 오픈 월드 분류 문제의 특성도 가지고 있습니다. 향후 포스팅에서는 딥러닝 기반 이상탐지 방법과 RaPP 방법론, 오토인코더 외 다양한 기법들에 대해 다룰 예정입니다.
Anomaly Detection이상탐지딥러닝
마키나락스·2019년 12월 12일
AI
Autoencoder based Anomaly Detection
이 글은 오토인코더(Autoencoder)를 활용한 이상 탐지(Anomaly Detection) 기법을 소개합니다. 오토인코더는 입력 데이터를 저차원의 잠재 공간으로 압축했다가 다시 원래 차원으로 복원하는 신경망으로, 주로 MSE 손실 함수를 사용하여 입력과 출력 간의 복원 오차를 최소화하도록 학습됩니다. 이상 탐지에서는 정상 데이터를 학습하여 복원 오차를 최소화하는 능력을 키우고, 테스트 시 비정상 데이터가 입력되면 복원 오차가 커지는 점을 이용해 이상 여부를 판단합니다. 다만, 병목 구간의 크기가 너무 크면 오토인코더가 단순 복사기처럼 작동하여 이상 탐지 성능이 저하될 수 있으므로, 병목 구간 크기 조절과 같은 하이퍼파라미터 튜닝의 중요성을 강조합니다.
AutoencoderAnomaly DetectionReconstruction Error
마키나락스·2019년 12월 5일