Por que o Writer's Palmyra LLM é o modelo de IA poderoso que está transformando empresas

A Writer, uma startup com sede em San Francisco, fundada em 2020, arrecadou US$ 100 milhões em setembro de 2023 para expandir seus modelos de linguagem de grande porte (LLMs) proprietários para aplicações empresariais. Embora não seja tão conhecida quanto gigantes como OpenAI, Anthropic ou Meta, a Writer está conquistando um nicho com seus modelos internos, coletivamente chamados de Palmyra. Empresas renomadas como Accenture, Vanguard, HubSpot e Pinterest utilizam a plataforma de criatividade e produtividade da Writer, impulsionada por esses modelos.

Recentemente, o Centro de Pesquisa em Modelos Fundamentais da Stanford HAI apresentou uma nova métrica de benchmark chamada HELM Lite, que inclui aprendizado em contexto, permitindo que os LLMs aprendam tarefas a partir de um pequeno conjunto de exemplos fornecidos durante a inferência. Notavelmente, enquanto o GPT-4 liderava esse benchmark, os modelos Palmyra X V2 e X V3 da Writer tiveram um desempenho “inesperadamente” bom, marcando altas classificações, apesar de seu tamanho menor, segundo Percy Liang, diretor do centro de Stanford.

Na categoria de tradução automática, o Palmyra se destacou, alcançando uma classificação superior. A CEO May Habib enfatizou esse sucesso em um post no LinkedIn, observando: “Palmyra X está superando benchmarks clássicos, conquistando a primeira posição geral no MMLU e liderando nos novos testes de tradução.”

Habib destacou os desafios econômicos que as empresas enfrentam ao implementar modelos maiores, como o GPT-4, que foi treinado com 1,2 trilhões de tokens. Ela afirmou: “Os casos de uso de IA generativa em 2024 precisam ser viáveis economicamente”, explicando que as empresas frequentemente lidam com altos custos de serviço e alterações nos prompts devido à destilação do modelo. Ela acredita que o benchmarking da Stanford HAI reflete melhor as necessidades reais das empresas em comparação com outras plataformas, como Hugging Face.

A Writer inicialmente focou em equipes de marketing e foi cofundada por Habib e Waseem AlShikh, que anteriormente gerenciavam a Qordoba, uma empresa de NLP e tradução automática. No início de 2023, a Writer apresentou a série Palmyra, incluindo modelos com 128 milhões a 20 bilhões de parâmetros, e lançou o Knowledge Graph para ajudar as empresas a integrar dados de negócios com Palmyra e hospedar modelos de forma autônoma.

“Oferecemos uma solução completa, combinando o modelo com um sistema de geração aumentada por recuperação (RAG) integrado”, disse Habib. Essa inovação aborda as ineficiências de enviar dados para modelos de embeddings e recebê-los de volta.

Habib defende modelos menores acompanhados de dados de treinamento curados, mesmo com declarações de especialistas sugerindo que modelos generalistas maiores superam os especializados. Ela observou que o ranking HELM Lite mostrava LLMs médicos superando o GPT-4, afirmando: “Quando se trata de inferência e custo, as empresas se beneficiam de modelos especializados que são mais fáceis de gerenciar e mais econômicos.”