지피지기면 백전불태 번외편: Pallas Programming Model

본 글은 AI 가속기 설계를 목표로 하는 시리즈의 번외편으로, TPU에서 커스텀 커널 작성을 가능하게 하는 Pallas 프로그래밍 모델을 소개합니다. 최신 TPU 세대인 Ironwood에서 Pallas는 성능 최적화의 핵심 역할을 하며, CUDA나 Triton처럼 하드웨어 세부 구조를 직접 제어하면서도 Python 환경에서 쉽게 사용할 수 있습니다.

기존 XLA 컴파일러의 한계를 넘어 최신 알고리즘 최적화를 지원하기 위해 구글이 개발한 Pallas는 TPU의 성능을 극대화하는 데 기여합니다. 특히, CPU/GPU의 메모리 대역폭 낭비 문제를 해결하기 위한 TPU의 Systolic Array 구조를 이해하는 것이 Pallas의 필요성을 파악하는 데 중요합니다.