Resultados de Treinamento MLPerf 4.0: Descubra um Aumento de Até 80% no Desempenho de IA

Inovação em Aprendizado de Máquina e Treinamento de IA Acelera

Os avanços em aprendizado de máquina (ML) e treinamento de inteligência artificial (IA) estão evoluindo rapidamente, especialmente com o surgimento de tarefas generativas de IA mais sofisticadas.

Hoje, o MLCommons revelou o benchmark de treinamento MLPerf 4.0, demonstrando níveis de desempenho recordes. Este padrão neutro em relação a fornecedores é amplamente reconhecido na indústria e contou com a contribuição de 17 organizações e mais de 205 resultados. Este lançamento representa a primeira atualização no treinamento MLPerf desde a versão 3.1, em novembro de 2023.

Os benchmarks do MLPerf 4.0 incluem desenvolvimentos significativos, como geração de imagens com Stable Diffusion e treinamento de Modelos de Linguagem Grande (LLM) para GPT-3. Resultados notáveis, pela primeira vez, incluem um novo benchmark LoRA que ajusta finamente o modelo de linguagem Llama 2 70B para sumarização de documentos, focando na eficiência dos parâmetros.

Comparando os resultados com o ciclo anterior, os ganhos são notáveis. “Em relação a seis meses atrás, alguns benchmarks mostraram quase 2x de melhoria de desempenho, especialmente com o Stable Diffusion,” afirmou David Kanter, fundador e diretor executivo do MLCommons, durante uma coletiva de imprensa. “Isso é impressionante para apenas meio ano.”

Especificamente, o treinamento de Stable Diffusion é 1,8x mais rápido em comparação com novembro de 2023, enquanto o treinamento de GPT-3 apresenta um aumento de velocidade de até 1,2x.

Desempenho de Treinamento de IA: Além do Hardware

Embora o hardware desempenhe um papel significativo no treinamento de modelos de IA, o software e a conectividade de rede dentro dos clusters são igualmente críticos. “O desempenho do treinamento de IA depende de vários fatores que melhoram a eficiência,” observou Kanter. “A distribuição de tarefas e a comunicação entre múltiplos processadores ou aceleradores são vitais.”

Os fornecedores não estão apenas aproveitando o silício superior, mas também estão utilizando algoritmos avançados e escalabilidade para um desempenho aprimorado ao longo do tempo.

Liderança da Nvidia em Treinamento com Arquitetura Hopper

A Nvidia se destacou notavelmente nos benchmarks do MLPerf 4.0, alcançando novos recordes de desempenho em cinco dos nove workloads testados. Impressionantemente, esses benchmarks foram definidos principalmente utilizando as mesmas plataformas de hardware que em junho de 2023.

David Salvator, diretor de IA da Nvidia, enfatizou o valor contínuo da arquitetura H100 Hopper. “Ao longo da história da Nvidia, tipicamente conseguimos melhorias de desempenho de 2x a 2,5x graças a inovações de software durante o ciclo de vida de um produto,” declarou.

A Nvidia empregou várias estratégias para aumentar o desempenho no MLPerf 4.0, incluindo otimização de pilha completa, kernels FP8 ajustados e um FlashAttention cuDNN otimizado.

Importância dos Benchmarks de Treinamento MLPerf para Empresas

Os benchmarks MLPerf oferecem métricas padronizadas sobre desempenho de treinamento para organizações, mas seu valor vai além dos números. Salvator destacou que as melhorias de desempenho são alcançadas com hardware existente, provando que a Nvidia pode extrair benefícios contínuos de arquiteturas estabelecidas. À medida que as organizações planejam novos deployments, particularmente on-premises, o potencial de melhorias contínuas após o investimento inicial é crucial.

“Em termos de relevância de desempenho, a resposta simples é que isso impulsiona o retorno sobre o investimento para os negócios,” concluiu.