Especialistas em mídia e tecnologia afirmam que modelos de linguagem de código aberto (LLMs) podem impactar significativamente a IA generativa nas empresas, possivelmente mais do que modelos proprietários como o ChatGPT da OpenAI ou as ofertas da Anthropic.
Apesar de experimentações extensas e diversos projetos de prova de conceito com modelos de código aberto, empresas estabelecidas têm sido lentas em revelar suas aplicações práticas. Para entender melhor a situação, contatamos os principais fornecedores de LLMs de código aberto, como Meta, Mistral AI, IBM, Hugging Face, Dell, Databricks, AWS e Microsoft.
Nossas investigações revelaram 16 casos notáveis de aplicação (veja a lista abaixo). Embora esse número seja modesto, analistas do setor esperam um aumento nas aplicações de código aberto até o final deste ano.
Atrasos na Adoção de LLMs de Código Aberto
Um dos motivos para a adoção lenta dos modelos de código aberto é sua origem recente. A Meta lançou o primeiro modelo significativo de código aberto, o Llama, em fevereiro de 2023, três meses após o lançamento do ChatGPT pela OpenAI em novembro de 2022. O modelo Mixtral da Mistral AI, que recebeu elogios em diversos benchmarks, foi lançado há apenas um mês. Como resultado, as implantações práticas estão apenas começando a surgir. Defensores do código aberto reconhecem que a prevalência de modelos fechados ainda é maior, mas preveem que essa diferença diminuirá.
Desafios com Modelos de Código Aberto
Existem limitações nos atuais modelos de código aberto. Amjad Masad, CEO da Replit, destacou que o mecanismo de feedback para o desenvolvimento dos modelos é ineficaz devido à dificuldade em contribuir para melhorias. No entanto, muitos subestimaram a quantidade de experimentação entre os desenvolvedores de código aberto, que criaram milhares de modelos derivados—alguns demonstrando desempenho igual ou superior em relação a modelos fechados em tarefas específicas, como o FinGPT e o BioBert.
O Valor Limitado dos Grandes Modelos Públicos para Empresas
De acordo com Matt Baker, SVP de Estratégia de IA da Dell, "grandes modelos públicos têm pouco ou nenhum valor para empresas privadas." Baker explicou que esses modelos tendem a ser excessivamente generalizados e não facilitam a integração fácil de dados privados, que representam cerca de 95% dos trabalhos de IA realizados pelas organizações.
Como resultado, muitas empresas estão explorando soluções de código aberto para suporte ao cliente e geração de código, utilizando códigos personalizados muitas vezes incompatíveis com LLMs de modelos fechados.
Movimento Lento Devido a Considerações Empresariais
Andrew Jardine, da Hugging Face, observou que as empresas costumam hesitar em adotar aplicações de LLM, pois priorizam a privacidade dos dados, a experiência do cliente e as implicações éticas. As empresas normalmente realizam projetos piloto internamente antes de expandirem para aplicações externas. Enquanto os modelos fechados viram implantações significativas no final de 2023, espera-se que as implementações de código aberto acelerem este ano.
Apesar das vantagens, algumas empresas consideram o código aberto complicado. Trabalhar com APIs estabelecidas de fornecedores como a OpenAI é frequentemente visto como mais simples do que lidar com questões de licenciamento e governança de código aberto.
Abridging a Lacuna Entre Modelos Abertos e Fechados
Jardine enfatizou que a distinção entre modelos abertos e fechados está se tornando cada vez mais tênue. Por exemplo, muitas empresas, incluindo uma grande farmacêutica, utilizam um LLM fechado para tarefas internas e um modelo de código aberto para funções específicas, como a identificação de informações sensíveis. Essa escolha reflete o desejo por maior controle sobre os dados.
O Caso para Adoção do Código Aberto
À medida que os fatores de adaptação de modelos e custo mudam rapidamente, as empresas provavelmente buscarão a flexibilidade de alternar entre modelos de código aberto e fechados para mitigar riscos. As empresas frequentemente optam por modelos de código aberto para manter o controle sobre dados sensíveis enquanto os ajustam para aplicações especializadas.
Diversas empresas, como Intuit e Perplexity, já estão desenvolvendo camadas de orquestração de IA generativa que permitem a integração suave de vários modelos para tarefas específicas, independentemente de serem abertos ou fechados. Embora a implantação de modelos de código aberto em larga escala possa exigir mais esforço, eles podem oferecer economia a longo prazo, especialmente para organizações com infraestrutura existente.
Muitas empresas aproveitam discretamente modelos de código aberto. Por exemplo, firmas do setor automotivo e companhias aéreas estão experimentando aplicações que utilizam a plataforma lakehouse da Databricks, que incorpora LLMs de código aberto.
Desafios na Identificação de Implantações de Código Aberto
Definir casos de uso empresariais autênticos pode ser desafiador. Embora muitos desenvolvedores e startups criem aplicações usando LLMs de código aberto, buscamos destacar empresas estabelecidas com aplicações significativas. Definimos uma empresa como aquela que possui pelo menos 100 funcionários e focamos em usuários finais em vez de fornecedores de tecnologia de LLM.
Definir "código aberto" também apresenta desafios, como observado com o Llama da Meta, que possui uma licença restrita. Além disso, enquanto empresas como a Writer desenvolveram seus próprios LLMs, apenas certos modelos são de código aberto, complicando a classificação.
Abaixo estão exemplos de implantações documentadas de LLMs de código aberto em empresas:
1. VMWare: Utiliza o modelo StarCoder da Hugging Face para aprimorar a geração de código em um ambiente auto-hospedado, garantindo a segurança do código proprietário.
2. Brave: O navegador focado em privacidade emprega o modelo Mixtral 8x7B para seu assistente conversacional, Leo.
3. Gab Wireless: Implementa modelos da Hugging Face para monitorar mensagens em prol da segurança das crianças, bloqueando conteúdos inadequados.
4. Wells Fargo: Utiliza o modelo Llama 2 da Meta para várias aplicações internas, aprimorando recursos para funcionários.
5. IBM: Incorpora LLMs de código aberto em seu aplicativo AskHR, que auxilia funcionários com consultas relacionadas a RH, e também é utilizado em novos serviços de consultoria.
6. Grammy Awards: Colabora com a IBM para "AI Stories", utilizando o Llama 2 para gerar insights e conteúdos personalizados para fãs.
7-9. Masters Tournament, Wimbledon, US Open: Aproveitam a tecnologia da IBM para comentários em tempo real e geração de destaques durante eventos.
10. Perplexity: Uma startup focada em reinventar a busca, usando LLMs de código aberto para resumir respostas em seu mecanismo de busca.
11. CyberAgent: Emprega LLMs de código aberto da Dell para modelagem da língua japonesa adaptada às necessidades dos usuários.
12. Intuit: Combina seus próprios LLMs com modelos de código aberto para aprimorar as capacidades do recurso Intuit Assist.
13. Walmart: Desenvolve aplicações de IA conversacional, tendo inicialmente utilizado o modelo BERT de código aberto da Google.
14. Shopify: Implanta o Llama 2 no Sidekick, uma ferramenta de IA que simplifica tarefas para donos de negócios de e-commerce.
15. LyRise: Uma startup de correspondência de talentos que cria um chatbot para recrutamento, utilizando o Llama para interações.
16. Niantic: Usa o Llama 2 para impulsionar interações de personagens no jogo móvel Peridot.
Apesar dos desafios existentes na definição e rastreamento dessas implantações, o interesse em LLMs de código aberto está crescendo. À medida que mais empresas exploram seu potencial, antecipamos um aumento no número de casos de uso públicos. Continuaremos a atualizar esta lista à medida que novas informações surgirem.
Classificação
