MLX: Apple silicon 용 Machine Learning 프레임워크 - 04.LLM inference example

이 글은 Apple Silicon 환경에서 MLX 라이브러리를 사용하여 LLM 추론의 속도 이점을 확인하는 내용을 다룹니다. 특히 Transformer 기반의 LLaMA 모델을 직접 구현하는 과정을 보여줍니다.

개인적인 의견으로는 MLX가 아직 초기 단계이므로, PyTorch처럼 Hugging Face와의 연계성을 강화하는 것보다 기존 PyTorch 코드를 MLX로 변환하여 사용하는 방향이 더 효율적일 수 있다고 제안합니다. 글에서는 MLX를 이용한 LLaMA 모델 구축을 위해 필요한 모듈 import와 LLaMA 아키텍처의 특징(pre-normalization, SwiGLU 활성화 함수)을 설명하고, 관련 수학적 식을 제시합니다.

또한, Hugging Face Llama와 동일한 구현 및 변수명을 사용하여 5개의 모듈(LlamaAttention, LlamaMLPLayer, LlamaEncoderLayer, LlamaModel, LlamaForCausalLM)을 정의하는 과정을 설명합니다.