A Stability AI Lança o Modelo 'Smol': Apresentando o StableLM Zephyr 3B

A Stability AI ganhou reconhecimento principalmente por sua inovadora suíte de modelos de IA generativa de texto para imagem, mas a empresa está expandindo suas ofertas. Hoje, a Stability AI revelou seu mais recente avanço: o StableLM Zephyr 3B. Este modelo é um modelo de linguagem grande (LLM) com 3 bilhões de parâmetros, projetado para diversas aplicações de chat, incluindo geração de texto, sumarização e personalização de conteúdo. O StableLM Zephyr 3B é uma versão otimizada e menor do modelo de geração de texto StableLM, lançado no início deste ano.

Uma das principais vantagens do StableLM Zephyr 3B é seu tamanho. Sendo menor que as versões de 7 bilhões de parâmetros do StableLM, ele pode ser implantado em uma gama mais ampla de hardware com um consumo de recursos reduzido, garantindo respostas rápidas. O modelo foi otimizado especificamente para tarefas de perguntas e respostas e instruções.

“StableLM foi treinado por mais tempo com dados de qualidade superior em comparação com modelos anteriores, utilizando o dobro do número de tokens em relação ao LLaMA v2 7b, mas igualando a performance básica desse modelo com apenas 40% do tamanho,” declarou Emad Mostaque, CEO da Stability AI.

Apresentando o StableLM Zephyr 3B

O StableLM Zephyr 3B não é um modelo totalmente novo, mas sim uma extensão do modelo existente StableLM 3B-4e1t. Seu design é baseado no modelo Zephyr 7B da HuggingFace, que opera sob uma licença MIT de código aberto e é destinado ao uso como assistente. O Zephyr utiliza um método de treinamento denominado Otimização Direta de Preferências (DPO), que também é aplicado no StableLM.

Mostaque explicou que o DPO serve como uma alternativa às técnicas de aprendizado por reforço usadas em modelos anteriores, aprimorando-os para alinhar-se melhor às preferências humanas. Embora o DPO tenha sido geralmente aplicado a modelos maiores, o StableLM Zephyr representa uma das primeiras vezes em que essa abordagem foi utilizada com sucesso em um modelo menor de 3 bilhões de parâmetros.

A Stability AI utilizou o DPO juntamente com o conjunto de dados UltraFeedback do grupo de pesquisa OpenBMB, que contém mais de 64.000 prompts e 256.000 respostas. Essa combinação de DPO, o tamanho do modelo e o conjunto de dados otimizado resulta em métricas de desempenho impressionantes. Por exemplo, na avaliação MT Bench, o StableLM Zephyr 3B superou modelos maiores, incluindo o Llama-2-70b-chat da Meta e o Claude-V1 da Anthropic.

Um Portfólio em Expansão de Modelos

O StableLM Zephyr 3B contribui para uma crescente variedade de modelos lançados pela Stability AI, à medida que a startup de IA generativa busca melhorar continuamente suas capacidades. Em agosto, a empresa lançou o StableCode para desenvolvimento de código de aplicação, seguido pelo Stable Audio em setembro para geração de texto para áudio. Em novembro, a empresa apresentou o preview do Stable Video Diffusion, marcando a entrada da Stability AI na geração de vídeos.

Apesar dessa expansão, a Stability AI continua comprometida com suas raízes em geração de texto para imagem. Recentemente, a empresa introduziu o SDXL Turbo, uma versão mais rápida de seu modelo de difusão estável SDXL.

Mostaque enfatiza que ainda há muita inovação por vir da Stability AI. “Acreditamos que modelos pequenos, abertos e performáticos, adaptados aos dados específicos dos usuários, superarão modelos gerais maiores,” explicou. “Com o próximo lançamento completo de nossos novos modelos StableLM, estamos ansiosos para democratizar ainda mais os modelos de linguagem generativa.”