Resultados do MLPerf Inference 4.1 Destacam Ganhos de Desempenho com a Primeira Aparição do Nvidia Blackwell em Testes

A MLCommons anunciou os mais recentes resultados do MLPerf Inference, destacando um novo benchmark de IA generativa e as primeiras métricas de desempenho validadas do processador gráfico Blackwell, de próxima geração, da Nvidia. Como uma organização imparcial e de múltiplos stakeholders, a MLCommons supervisiona os benchmarks MLPerf para treinamento e inferência de IA. Os resultados mais recentes, que incluem 964 submissões de desempenho de 22 organizações, oferecem uma visão fundamental do rapidamente evolutivo cenário de hardware e software de IA. Ao fornecer medições padronizadas e reproduzíveis do desempenho de inferência de IA, o MLPerf capacita os tomadores de decisão nas empresas com insights necessários para enfrentar a complexidade da implementação da IA, equilibrando desempenho, eficiência e custo.

Destaques do MLPerf Inference v4.1

Entre as atualizações mais notáveis do MLPerf Inference v4.1 está a introdução do benchmark Mixture of Experts (MoE), que avalia o desempenho do modelo Mixtral 8x7B. Esta rodada também apresentou uma diversidade de novos processadores e sistemas, incluindo o MI300x da AMD, o TPUv6e (Trillium) do Google, o Granite Rapids da Intel, o SpeedAI 240 da Untether AI e o GPU Blackwell B200 da Nvidia. David Kanter, fundador da MLPerf na MLCommons, expressou entusiasmo pela variedade de submissões: “Quanto mais ampla a gama de sistemas avaliados, maiores as oportunidades de comparação e insights na indústria.”

O Benchmark MoE para Inferência de IA

Um avanço significativo nesta rodada é o benchmark MoE, que visa gerenciar os desafios impostos por modelos de linguagem cada vez maiores. Miro Hodak, membro sênior da equipe técnica da AMD e presidente do grupo de trabalho de inferência da MLCommons, explicou que, em vez de depender de um único modelo grande, a abordagem MoE consiste em vários modelos menores e específicos para o domínio, melhorando a eficiência durante a implementação. O benchmark MoE avalia o desempenho do hardware usando o modelo Mixtral 8x7B, que inclui oito especialistas com 7 bilhões de parâmetros cada. O modelo abrange três tarefas principais:

- Respostas a perguntas com base no conjunto de dados Open Orca

- Raciocínio matemático utilizando o conjunto de dados GSMK

- Tarefas de codificação com base no conjunto de dados MBXP

Hodak enfatizou que a estrutura MoE não apenas utiliza melhor as forças dos modelos em comparação com benchmarks tradicionais de tarefa única, mas também promove soluções de IA mais eficientes para as empresas.

GPU Blackwell da Nvidia: Avanços Promissores em Inferência de IA

O processo de testes do MLPerf oferece aos fornecedores uma plataforma para demonstrar tecnologias futuras com resultados rigorosamente revisados por pares. Entre os lançamentos muito aguardados está a GPU Blackwell da Nvidia, anunciada em março. Embora ainda demorem alguns meses para que os usuários tenham acesso ao Blackwell, os resultados do MLPerf Inference 4.1 oferecem um vislumbre de suas capacidades. “Esta é nossa primeira divulgação de desempenho dos dados medidos no Blackwell, e estamos animados em compartilhar isso”, disse Dave Salvator da Nvidia em um recente briefing.

Os benchmarks destacam especificamente o desempenho de carga de trabalho de IA generativa com base na maior carga de trabalho LLM do MLPerf, o Llama 2 70B. “Estamos alcançando 4x mais desempenho por GPU em comparação com nossa geração anterior”, observou Salvator. Além da nova GPU Blackwell, a Nvidia continua a extrair mais desempenho de seu hardware existente. Os resultados do MLPerf Inference 4.1 indicam que a GPU Hopper melhorou em 27% desde os últimos benchmarks, sendo impulsionada puramente por aprimoramentos de software. “Esses ganhos vêm apenas do software”, explicou Salvator. “Utilizamos o mesmo hardware de antes, mas as otimizações de software em andamento nos permitem alcançar um desempenho superior.”

Com esses avanços, os mais recentes resultados do MLPerf Inference da MLCommons oferecem insights críticos sobre o futuro do hardware de IA e seu potencial de implementação em diversas aplicações empresariais.