- 후지쯔·메타·오픈AI 지원 받아 실제 워크로드 평가…시그널65, AMD EPYC 대비 7개 워크로드 독립 검증

 

 

 

Arm이 후지쯔, 메타, 오픈AI의 지원을 받아 에이전틱 AI 워크로드를 실제 작업 완료 결과로 측정하는 새로운 CPU 성능 평가 방법론을 공개했다. 시그널65(Signal65)는 이 방법론에 맞춘 7개 워크로드에서 Arm AGI CPU와 AMD EPYC 튜린(Turin)을 독립 검증했으며, Arm AGI CPU는 AMD EPYC 9755 대비 랙당 평균 1.99배의 모델링 성능을 기록했다.

 

에이전트 증가로 달라지는 CPU 역할

AI 에이전트는 작업을 끝낼 때까지 상태를 유지하고 컨텍스트를 검색하며, 툴과 서비스를 호출해 업무를 처리하고 결과를 평가한다. a16z가 공개한 데이터에 따르면 오픈라우터(OpenRouter)의 에이전트 토큰 사용량은 2026년 2월 이후 약 14배 증가했다. 에이전트 수가 늘어나면 컴퓨팅과 메모리, 스토리지, 입출력(I/O)에서도 높은 동시성을 지속적으로 처리해야 한다.

 

CPU가 담당하는 작업 범위도 넓어진다. 에이전트가 컨텍스트를 유지하고 툴을 호출하거나 데이터에 접근할 때 워크로드를 처리하며, AI 헤드 노드에서는 작업 스케줄링과 데이터 준비·이동을 맡아 가속기 운용을 조율한다. 검색과 서비스 호출, 코드 실행, 데이터 요청이 늘어날수록 이를 처리하는 클라우드 네이티브 인프라의 작업량도 함께 증가한다.

 

에이전트의 자율성이 높아지고 접근하는 툴과 데이터가 늘면서 런타임 보안도 주요 요소로 떠오른다. 호스트 CPU가 에이전트 실행을 처리하는 동안 데이터처리장치(DPU)와 다른 인프라 프로세서는 네트워킹과 스토리지, 정책 시행, 텔레메트리, 격리를 담당한다.

 

작업 완료량과 지속 성능으로 CPU 측정

기존 CPU 성능 지표만으로는 에이전틱 AI 환경에서 실제 처리 능력을 파악하기 어렵다. 에이전틱 컴퓨팅에서는 응답성을 유지하면서 동시에 완료하는 작업량을 살펴봐야 하며, AI 헤드 노드에서는 CPU가 가속기를 얼마나 효율적으로 활용하도록 조율하는지가 평가 대상이 된다. 클라우드 네이티브 환경에서는 개별 작업의 처리 속도와 예측 가능한 성능도 함께 측정한다.

 

Arm은 이를 반영해 대표성 있는 에이전틱 활용 사례, 반복 가능한 CPU 측정, 엔드투엔드 결과 검증을 세 가지 평가 원칙으로 정했다. 구성 요소 단위에서는 모델 추론이나 네트워킹 같은 변수를 분리해 CPU 성능을 측정하고, 엔드투엔드 평가에서는 해당 성능 차이가 실제 작업 완료 결과로 연결되는지를 확인한다.

 

높은 활용률에서도 성능을 유지하는지도 평가 대상이다. 처리량이 사용률 증가와 함께 떨어지면 이론적인 처리 용량이 커져도 실제 완료 작업 수는 같은 비율로 증가하지 않기 때문이다. 데이터센터의 전력과 발열, 물리적 제약을 고려해 랙 단위에서 처리하는 유효 작업량까지 측정하는 이유다.

 

7개 워크로드서 랙당 평균 1.99배 성능

시그널65는 툴링과 오케스트레이션, 추론·계획 영역에서 Arm AGI CPU와 AMD EPYC 튜린의 성능을 독립적으로 검증했다. 두 플랫폼에 동일한 벤치마크 스크립트를 적용하고 서버에서 직접 측정한 성능을 기반으로 랙 수준의 결과를 모델링했다.

 

Arm AGI CPU는 7개 워크로드에서 AMD EPYC 9755 대비 랙당 평균 1.99배의 모델링 성능을 기록했다. 세부적으로 툴링에서는 평균 1.7배, 에이전틱 워크플로우·오케스트레이션에서는 2배, 추론·계획에서는 2.2배의 랙 단위 모델링 성능을 보였다.

 

샌드박스 생성 지연시간에서는 AMD EPYC 9965 대비 최대 45% 짧았다. 에이전트가 격리된 실행 환경을 시작할 때 발생하는 대기 시간을 줄여 실행 과정에서 발생하는 오버헤드를 낮춘 결과다. Arm은 높은 코어 밀도와 코어별 전용 메모리, 고대역폭 I/O를 Arm AGI CPU에 적용했다.

 

Arm AGI CPU, OCP 랙 스케일 설계로 확장

Arm은 에이전틱 AI용 CPU 평가와 함께 개방형 랙 스케일 AI 인프라 적용도 추진한다. Arm AGI CPU 레퍼런스 서버를 오픈 컴퓨트 프로젝트(OCP)에 기여하는 절차를 진행하고 있으며, 메타의 요세미티 YV5(Yosemite YV5)는 Arm AGI CPU를 OCP 랙 스케일 설계에 도입하고 있다.

 

후지쯔 요시다 토시오(Toshio Yoshida) 수석부사장은 “에이전틱 AI가 발전함에 따라 CPU 성능을 평가하려면 기존 지표를 넘어 실제 워크로드를 반영하는 벤치마크가 필요하다”며 “후지쯔는 업계 전반의 협력을 촉진하고 차세대 AI 인프라 최적화를 지원하려는 Arm의 이니셔티브를 환영한다”고 밝혔다.

 

메타 아바셰크 다노티아(Abhishek Dhanotia) 소프트웨어 엔지니어는 “에이전틱 AI가 실제 운영 단계로 진입하면서 업계는 다양한 워크로드가 기반 인프라를 어떻게 활용하는지 명확하게 파악해야 한다”며 “보다 일관된 비교 기준을 마련하려는 Arm의 노력이 향후 시스템의 발전 방향을 설정하는 데 도움될 것으로 기대한다”고 전했다.

 

오픈AI 글로벌 포워드 디플로이드 엔지니어링 콜린 자비스(Colin Jarvis) 총괄은 “AI 시스템은 응답 생성에서 나아가 추론과 툴 사용, 소프트웨어 환경과의 상호작용을 통해 복잡한 작업을 완수하는 방향으로 발전하고 있다”며 “새롭게 부상하는 워크로드의 특성을 파악하고 AI 시스템 전체의 성능을 최적화하려면 대표성 있는 벤치마킹을 위한 업계 협력이 중요할 것”이라고 설명했다.

 

#Arm #에이전틱AI #ArmAGICPU #CPU #AI인프라 #데이터센터 #OCP #시그널65 #AMD #EPYC #후지쯔 #메타 #오픈AI