The Machine: AI가 AI 활용 코드를 평가하다

본 글은 AI 네이티브 채용 시리즈의 두 번째 이야기로, AI가 AI 활용 코드를 평가하는 시스템 'The Machine'을 구축하고 고도화한 경험을 공유합니다. 대규모 코딩 과제 평가에 필요한 복잡한 프로세스를 자동화하기 위해 멀티 에이전트 시스템을 설계하고, Git 클론부터 보안 스캔, 빌드, 테스트, 그리고 AI 기반의 채점 및 등급 분류까지 전 과정을 자동화했습니다.

특히, "정원이 1명 남은 강좌에 100명이 동시에 신청하면 정확히 1명만 성공해야 한다"와 같은 동시성 문제를 해결하는 코드를 AI 에이전트가 얼마나 잘 구현하는지를 평가하는 데 중점을 두었습니다. 이 과정에서 AI 에이전트의 능력을 향상시키기 위한 하네스 설계와 반복적인 개선 과정을 상세히 설명하며, AI 기반 채용 시스템의 가능성을 탐구합니다.