Grok-2 Boosted: Desenvolvedores Reformulam Código em Apenas Três Dias para Melhorar Performance

A xAI de Elon Musk recentemente chamou a atenção com o lançamento de seu chatbot Grok-2, um modelo de linguagem de grande porte (LLM) agora disponível por meio de uma assinatura mensal de $8 na rede social X.

Ambas as versões do Grok-2, incluindo o Grok-2 mini, mais rápido porém menos potente, apresentaram um aumento significativo na velocidade de processamento de informações e tempo de resposta. Esta atualização seguiu uma reescrita completa do código de inferência realizada pelos desenvolvedores da xAI, Igor Babuschkin, Lianmin Zheng e Saeed Maleki, em apenas três dias.

Babuschkin compartilhou no X: “O Grok 2 mini agora é 2x mais rápido do que ontem. Nos últimos três dias, @lm_zheng e @MalekiSaeed reescreveram nosso sistema de inferência do zero utilizando o SGLang. Essa melhoria nos permite operar o modelo Grok 2 maior, que requer inferência em múltiplos hosts, a uma velocidade razoável. Ambos os modelos são mais rápidos e ligeiramente mais precisos. Fiquem ligados para mais aprimoramentos na velocidade!”

O SGLang, um sistema open-source eficiente para execução de programas complexos de modelos de linguagem, foi fundamental nessa reescrita, alcançando até 6,4 vezes mais rendimento do que os sistemas existentes. Desenvolvido por pesquisadores da Stanford University, UC Berkeley, Texas A&M University e Shanghai Jiao Tong University, o SGLang simplifica a programação para aplicações de modelos de linguagem, integrando uma linguagem frontend com um tempo de execução backend. Ele suporta vários modelos, incluindo Llama, Mistral e LLaVA, e funciona com modelos de peso aberto e baseados em API, como o GPT-4 da OpenAI.

Destaques de Desempenho do Grok-2 e Grok-2 Mini

Na atualização mais recente do ranking Arena do Lmsys Chatbot, o Grok-2 conquistou a 2ª posição com uma Pontuação Arena de 1293, com base em 6686 votos. Isso o posiciona como o segundo modelo de IA mais poderoso do mundo, empatado com o Gemini-1.5 Pro do Google, e ficando atrás apenas do ChatGPT-4 da OpenAI.

O Grok-2 mini, beneficiando-se das melhorias recentes, subiu para a 5ª posição com uma Pontuação Arena de 1268 a partir de 7266 votos, logo atrás do GPT-4o mini e Claude 3.5 Sonnet. Ambos os modelos refletem o compromisso da xAI em avançar a tecnologia de IA.

O Grok-2 se destaca particularmente em tarefas matemáticas, ocupando a 1ª posição, e mantém fortes classificações em várias categorias, como Desafios Difíceis, Codificação e Seguir Instruções. Esse desempenho coloca o Grok-2 à frente de outros modelos líderes, incluindo o GPT-4o da OpenAI, atualmente classificado em 4º lugar.

Desenvolvimentos Futuros

Babuschkin observou que a principal vantagem do Grok-2 mini em relação ao modelo completo Grok-2 é sua velocidade superior. Ele também mencionou esforços contínuos para aprimorar ainda mais a velocidade de processamento do Grok-2 mini, tornando-o uma opção mais atraente para usuários que priorizam alto desempenho com recursos computacionais limitados.

A inclusão do Grok-2 e Grok-2 mini no ranking da Arena de Chatbots atraiu significativa atenção na comunidade de IA, demonstrando o compromisso da xAI com a inovação e sua busca para expandir as capacidades da tecnologia de IA. Com refinamentos em andamento, o Grok-2 e Grok-2 mini estão preparados para liderar os avanços futuros em IA, prometendo maior velocidade e precisão.