Por qué Writer's Palmyra LLM es el potente modelo de IA que está transformando las empresas

Writer, una startup con sede en San Francisco fundada en 2020, recaudó 100 millones de dólares en septiembre de 2023 para expandir sus modelos de lenguaje grande (LLMs) propios para aplicaciones empresariales. Aunque no es tan conocida como gigantes como OpenAI, Anthropic o Meta, Writer está creando un nicho con sus modelos internos, colectivamente llamados Palmyra. Empresas reconocidas como Accenture, Vanguard, HubSpot y Pinterest aprovechan la plataforma de creatividad y productividad de Writer, potenciada por estos modelos.

Recientemente, el Centro de Investigación en Modelos Fundamentales de Stanford HAI presentó una nueva métrica de evaluación llamada HELM Lite, que incluye aprendizaje en contexto, permitiendo a los LLMs aprender tareas a partir de un pequeño conjunto de ejemplos proporcionados durante la inferencia. Notablemente, mientras que GPT-4 lideró esta evaluación, los modelos Palmyra X V2 y X V3 de Writer tuvieron un rendimiento "inesperadamente" bueno, colocándose en una posición alta a pesar de su menor tamaño, según Percy Liang, director del centro de Stanford.

En la categoría de traducción automática, Palmyra destacó, logrando una posición de liderazgo. La CEO May Habib subrayó este éxito en una publicación de LinkedIn, señalando: “Palmyra X está superando los benchmarks clásicos, alcanzando la mejor posición en MMLU y liderando en las nuevas pruebas de traducción.”

Habib enfatizó los desafíos económicos que enfrentan las empresas al implementar modelos más grandes como GPT-4, que se entrenó con 1.2 trillones de tokens. Afirmó: “Los casos de uso de la IA generativa en 2024 deben ser económicamente viables”, explicando que las empresas a menudo luchan contra altos costos de servicio y cambios en las indicaciones debido a la destilación de modelos. Ella cree que la evaluación de Stanford HAI refleja de manera más precisa las necesidades reales de las empresas que otras plataformas como Hugging Face.

Writer se dirigió inicialmente a los equipos de marketing y fue cofundada por Habib y Waseem AlShikh, quienes anteriormente dirigieron Qordoba, una empresa de NLP y traducción automática. A principios de 2023, Writer lanzó la serie Palmyra, que incluye modelos con entre 128 millones y 20 mil millones de parámetros, y presentó Knowledge Graph para ayudar a las empresas a integrar datos comerciales con Palmyra y modelos autoalojados.

“Ofrecemos una solución de pila completa, combinando el modelo con un sistema de generación aumentada por recuperación (RAG) integrado,” dijo Habib. Esta innovación aborda las ineficiencias de enviar datos a modelos de embeddings y recibirlos de vuelta.

Habib aboga por modelos más pequeños acompañados de datos de entrenamiento seleccionados, aun considerando declaraciones de expertos que sugieren que los modelos generalistas más grandes superan a los especializados. Ella notó que la tabla de clasificación de HELM Lite mostró LLMs médicos superando a GPT-4, afirmando: “En términos de inferencia y costo, las empresas se benefician de modelos especializados que son más fáciles de gestionar y más económicos.”