NVIDIA Lança o Mistral-NeMo-Minitron 8B: Um Modelo de IA Lingüística Compacto
No dia 21 de agosto, a NVIDIA anunciou o lançamento do Mistral-NeMo-Minitron 8B, um modelo de IA linguística compacto projetado para oferecer precisão excepcional e eficiência computacional. Este modelo é otimizado para uso em centros de dados com aceleração por GPU, ambientes de computação em nuvem e estações de trabalho.
Após a colaboração do mês passado com a Mistral AI para o lançamento do modelo de código aberto Mistral NeMo 12B, o novo Mistral-NeMo-Minitron 8B possui 8 bilhões de parâmetros e é especificamente desenvolvido para sistemas com placas gráficas NVIDIA RTX. As melhorias da NVIDIA no modelo Mistral NeMo 12B incluíram o corte de largura e a destilação de conhecimento, com resultados detalhados no artigo intitulado "Modelos de Linguagem Compactos via Corte e Destilação de Conhecimento."
O processo de corte envolve a eliminação de pesos do modelo que contribuem minimamente para a precisão, otimizando efetivamente o tamanho da rede neural. Durante a fase de destilação, a equipe de pesquisa retrainou o modelo cortado utilizando um conjunto de dados menor, conseguindo mitigar a queda na precisão causada pelo corte.
Em termos de desempenho, o Mistral-NeMo-Minitron 8B apresenta vantagens significativas em nove benchmarks populares para modelos de linguagem, demonstrando habilidades em compreensão de linguagem, raciocínio lógico, raciocínio matemático, sumarização e geração de respostas precisas.