SambaNova Lança AI Samba-CoE v0.2: Superando o Databricks DBRX em Inovação e Desempenho

A fabricante de chips de IA SambaNova Systems anunciou um marco importante com o seu modelo de linguagem grande Samba-CoE v0.2. Este modelo processa impressionantes 330 tokens por segundo, superando concorrentes notáveis como o recém-lançado DBRX da Databricks, o Mixtral-8x7B da MistralAI e o Grok-1 da xAI, de Elon Musk.

O que diferencia essa conquista é a eficiência do modelo. Ele opera em altas velocidades sem comprometer a precisão, utilizando apenas 8 sockets, em comparação com alternativas que exigem 576 sockets e funcionam a taxas de bits inferiores. Nossos testes mostraram que o LLM gerou respostas de forma incrivelmente rápida — produziu 330,42 tokens em apenas um segundo ao responder de forma abrangente sobre a Via Láctea. Uma pergunta sobre computação quântica resultou em uma resposta igualmente rápida, com 332,56 tokens por segundo.

Avanços em Eficiência

A estratégia da SambaNova de utilizar menos sockets enquanto mantém altas taxas de bits representa um avanço significativo em eficiência computacional. A empresa também está antecipando o lançamento do Samba-CoE v0.3 em colaboração com a LeptonAI, sinalizando inovações contínuas.

Esses avanços estão fundamentados em modelos de código aberto como o Samba-1 e o Sambaverse, utilizando uma abordagem distinta de ensembling e mesclagem de modelos. Essa metodologia não apenas apoia a versão atual, mas também indica um caminho escalável para futuros desenvolvimentos.

Comparações com outros modelos, incluindo o Gemma-7B da GoogleAI, o Mixtral-8x7B da MistralAI, o Llama2-70B da Meta, o Qwen-72B do Alibaba Group, o Falcon-180B da TIIuae e o BLOOM-176B do BigScience, destacam a vantagem competitiva do Samba-CoE v0.2 no cenário de IA.

Este anúncio promete despertar interesse nas comunidades de IA e aprendizado de máquina, estimulando discussões sobre eficiência, desempenho e o futuro da evolução dos modelos de IA.

Histórico da SambaNova

Fundada em 2017 em Palo Alto, Califórnia, por Kunle Olukotun, Rodrigo Liang e Christopher Ré, a SambaNova Systems começou focando em chips de hardware de IA personalizados. Desde então, sua missão se expandiu para abranger uma ampla gama de ofertas, incluindo serviços de aprendizado de máquina e a SambaNova Suite — uma plataforma abrangente de treinamento, desenvolvimento e implantação de IA para empresas, lançada no início de 2023. No início deste ano, a empresa introduziu o Samba-1, um modelo de IA com 1 trilhão de parâmetros derivado de 50 modelos menores em uma abordagem de "Composição de Especialistas".

Essa transição de uma startup centrada em hardware para uma inovadora de IA completa reflete o compromisso dos fundadores em tornar as tecnologias de IA escaláveis e acessíveis. A SambaNova está se estabelecendo como uma concorrente formidável para gigantes da indústria como a Nvidia, tendo levantado 676 milhões de dólares em um financiamento da Série D, com uma avaliação superior a 5 bilhões de dólares em 2021. Hoje, compete com outras startups de chips de IA dedicadas, como a Groq, além de jogadores estabelecidos como a Nvidia.