MLPerf Inference 4.1 결과, Nvidia Blackwell의 첫 테스트 등장으로 성능 향상 주목받아

MLCommons는 최신 MLPerf 추론 결과를 발표하며 새로운 생성형 AI 벤치마크와 Nvidia의 차세대 Blackwell GPU 프로세서에 대한 첫 validated 성능 지표를 소개했습니다. 다수의 이해관계자가 참여하는 중립적 조직인 MLCommons는 AI 훈련 및 추론을 위한 MLPerf 벤치마크를 관리합니다. 이번 결과는 22개 조직의 964개 성능 제출을 포함하여 빠르게 변화하는 AI 하드웨어 및 소프트웨어 환경에 대한 중요한 개요를 제공합니다. 표준화되고 재현 가능한 AI 추론 성능 측정을 제공함으로써 MLPerf는 기업 의사 결정자들이 성능, 효율성, 비용 균형을 맞추면서 AI 배치의 복잡성을 탐색하는 데 필요한 인사이트를 제공합니다.

MLPerf Inference v4.1의 주요 사항

MLPerf Inference v4.1의 notable한 업데이트 중 하나는 Mixtral 8x7B 모델의 성능을 평가하는 Mixture of Experts (MoE) 벤치마크의 도입입니다. 이번 라운드에서는 AMD의 MI300x, Google의 TPUv6e(Trillium), Intel의 Granite Rapids, Untether AI의 SpeedAI 240, 그리고 Nvidia의 Blackwell B200 GPU 등 다양한 새로운 프로세서와 시스템이 소개되었습니다. MLCommons의 MLPerf 설립자인 David Kanter는 “평가되는 시스템의 범위가 넓을수록 업계 내 비교 및 인사이트의 기회가 커진다”고 전했습니다.

AI 추론을 위한 MoE 벤치마크

이번 라운드에서 중요한 발전은 점점 더 큰 언어 모델이 제기하는 과제를 관리하기 위한 MoE 벤치마크입니다. AMD의 수석 기술 직원이자 MLCommons 추론 작업 그룹 의장인 Miro Hodak는 “단일 대형 모델에 의존하기보다는 여러 개의 소형 도메인별 모델로 구성된 MoE 접근 방식이 배포 시 효율성을 향상시킨다”고 설명했습니다. MoE 벤치마크는 70억 개의 매개변수를 가진 8명의 전문가로 구성된 Mixtral 8x7B 모델을 사용하여 하드웨어 성능을 평가합니다. 이 모델은 다음의 세 가지 주요 작업을 통합합니다:

- Open Orca 데이터셋 기반의 질문 응답

- GSMK 데이터셋을 활용한 수학 추론

- MBXP 데이터셋에 기반한 코딩 작업

Hodak은 MoE 프레임워크가 기존의 단일 작업 벤치마크에 비해 모델의 강점을 보다 잘 활용할 뿐만 아니라 기업을 위한 더 효율적인 AI 솔루션을 촉진한다고 강조했습니다.

Nvidia의 Blackwell GPU: AI 추론 개선 기대

MLPerf 테스트 과정은 공급업체가 엄격하게 동료 검토된 결과와 함께 다가오는 기술을 선보일 수 있는 플랫폼을 제공합니다. 가장 기대되는 출시 중 하나는 Nvidia의 Blackwell GPU로, 3월에 발표되었습니다. 사용자가 Blackwell에 접근할 수 있으려면 몇 개월이 걸리겠지만, MLPerf Inference 4.1 결과는 그 가능성을 엿볼 수 있게 합니다. Nvidia의 Dave Salvator는 최근 브리핑에서 “이는 Blackwell에 대한 측정 데이터의 첫 성능 공개이며, 이를 공유하게 되어 기쁩니다”라고 전했습니다.

벤치마크는 MLPerf의 가장 큰 LLM 작업인 Llama 2 70B를 기반으로 한 생성형 AI 작업 성능을 특별히 강조합니다. Salvator는 “우리는 이전 세대에 비해 GPU당 4배의 성능을 달성하고 있다”고 언급했습니다. 새로운 Blackwell GPU 외에도 Nvidia는 기존 하드웨어에서 더 많은 성능을 끌어내고 있습니다. MLPerf Inference 4.1 결과는 최근 6개월 간 Hopper GPU의 성능이 소프트웨어 개선만으로도 27% 향상되었음을 보여줍니다. Salvator는 “이러한 이점은 모두 소프트웨어에서 나온 것”이라며 “우리는 이전과 동일한 하드웨어를 사용했지만, 진행 중인 소프트웨어 최적化로 더 높은 성능을 달성했다”고 설명했습니다.

이러한 발전을 통해 MLCommons의 최신 MLPerf Inference 결과는 AI 하드웨어의 미래와 다양한 기업 애플리케이션에서의 배치 가능성에 대한 중요한 인사이트를 제공합니다.