Nvidia와 Intel, MLPerf 3.1 벤치마크 결과에서 새로운 LLM 훈련 속도 기록 수립

2023년의 AI 모델 훈련이 급격히 발전하고 있으며, 이는 최신 MLPerf Training 3.1 벤치마크에서 확인되었습니다. 생성 AI 분야의 혁신 속도가 놀랍고, 빠른 모델 훈련이 이러한 발전에 중요한 요소로 작용하고 있습니다. MLCommons MLPerf 벤치마크는 훈련 효율성을 추적하고 정량화합니다. MLCommons는 기계 학습(ML) 벤치마크, 데이터셋, 모범 사례를 개선하여 AI 개발을 촉진하는 오픈 엔지니어링 컨소시엄입니다.

MLPerf Training 3.1 벤치마크에는 19개 공급업체의 제출물이 포함되어 200개 이상의 성능 결과가 생성되었습니다. 이번 라운드에는 GPT-3을 포함한 대규모 언어 모델(LLM) 훈련을 위한 벤치마크가 포함되었으며, 오픈 소스 Stable Diffusion 텍스트-이미지 생성 모델에 대한 새로운 벤치마크가 도입되었습니다. MLCommons의 이사 David Kanter는 최근 기자회견에서 "200개 이상의 성능 결과를 통해 50%에서 거의 3배 향상된 것을 확인했습니다"라고 전했습니다.

LLM 훈련은 Moore의 법칙을 초월하다

MLPerf Training 3.1 벤치마크의 두드러진 점은 LLM 훈련에서의 성능 향상입니다. LLM 훈련 데이터가 처음 포함된 6월 이후, MLPerf 3.1 벤치마크는 LLM 훈련에서 거의 3배의 성능 향상을 보여주고 있습니다. Kanter는 "6월 첫 번째 라운드의 가장 빠른 LLM 훈련 벤치마크와 비교했을 때, 우리는 약 2.8배 빠른 성능을 달성했습니다"라며, "향후 라운드를 예측할 수는 없지만, 이 개선은 인상적이며 놀라운 역량을 나타냅니다"라고 언급했습니다.

Kanter는 최근 AI 훈련 성능 향상이 Moore의 법칙이 예측하는 수준을 초과했다고 믿고 있으며, 이는 컴퓨팅 성능이 몇 년마다 두 배로 증가하는 예측을 넘는 속도로 하드웨어 아키텍처와 소프트웨어를 확장하고 있음을 시사합니다. 그는 "MLPerf는 산업 발전의 바로미터 역할을 합니다"라고 덧붙였습니다.

업계 리더들의 중요한 발전

Intel, Nvidia, Google은 MLPerf Training 3.1 벤치마크에서 LLM 훈련 결과에서 주목할 만한 발전을 이루었습니다. Intel은 Habana Gaudi 2 가속기가 6월 결과에 비해 103%의 훈련 속도 향상을 달성했다고 보고했습니다. Intel의 수석 연구원 Itay Hubara는 "우리는 FP8을 사용해 동일한 소프트웨어 스택으로 기존 하드웨어의 결과를 향상시켰습니다"라고 밝혔습니다.

Google의 Cloud TPU v5e는 8월 29일에 출시되어 FP8을 활용한 훈련 성과를 보여주었습니다. Google의 클라우드 가속기 제품 관리자 Vaibhav Singh는 Cloud TPU 다중 슬라이스 기술을 통해 달성한 확장 성능에 대해 설명했습니다. "Cloud TPU 다중 슬라이스는 데이터 센터 네트워크 전반에서 효과적으로 확장됩니다"라고 Singh는 설명했습니다.

Nvidia의 EOS 슈퍼컴퓨터가 LLM 훈련에 힘을 실다

Nvidia는 2022년 논의된 EOS 슈퍼컴퓨터를 통해 LLM 훈련 효율성을 최대화했습니다. 이 결과는 6월 벤치마크에 비해 GPT-3 모델의 훈련 속도가 2.8배 증가했음을 보여줍니다. Nvidia의 가속 컴퓨팅 제품 책임자 Dave Salvator는 EOS가 10,752개의 GPU와 Nvidia Quantum-2 InfiniBand(400 기가비트/초)로 연결되어 있으며 860 테라바이트의 HBM3 메모리를 제공한다고 강조했습니다. "우리가 확인한 속도 지표는 비범합니다"라고 Salvator는 덧붙였습니다.

결론적으로, MLPerf Training 3.1 벤치마크는 AI 훈련의 빠른 발전을 강조하며, 인공지능의 진화에서 중대한 이정표가 되고 있습니다.