Pourquoi Writer's Palmyra LLM est le modèle d'IA puissant qui transforme les entreprises

Writer, une startup basée à San Francisco fondée en 2020, a levé 100 millions de dollars en septembre 2023 pour étendre ses modèles de langage large (LLMs) propriétaires dédiés aux applications d'entreprise. Bien que moins connue que des géants comme OpenAI, Anthropic ou Meta, Writer se distingue par ses modèles internes, regroupés sous le nom de Palmyra. Des entreprises réputées telles qu'Accenture, Vanguard, HubSpot et Pinterest profitent de la plateforme de créativité et de productivité proposée par Writer, alimentée par ces modèles.

Récemment, le Centre de recherche sur les modèles de fondations de Stanford HAI a introduit un nouveau critère de référence appelé HELM Lite, intégrant l'apprentissage en contexte, permettant aux LLMs d'apprendre des tâches à partir d'un petit ensemble d'exemples fournis lors de l'inférence. Notamment, alors que GPT-4 a dominé ce benchmark, les modèles Palmyra X V2 et X V3 de Writer ont obtenu des résultats "inattendus", se classant haut malgré leur taille plus réduite, selon Percy Liang, directeur du centre de Stanford.

Dans la catégorie de la traduction automatique, Palmyra s'est illustrée, atteignant un classement de premier plan. La PDG May Habib a souligné ce succès dans un post LinkedIn, notant que "Palmyra X surpasse les benchmarks classiques, établissant la première position globale dans MMLU et dominant les nouveaux tests de traduction."

Habib a mis en avant les défis économiques auxquels les entreprises sont confrontées lors de la mise en œuvre de modèles plus grands comme GPT-4, qui a été entraîné sur 1,2 trillion de tokens. Elle a déclaré : "Les cas d'utilisation de l'IA générative en 2024 doivent être économiquement viables," expliquant que les entreprises luttent souvent contre les coûts de service élevés et les changements de prompts liés à la distillation des modèles. Elle estime que le benchmark de Stanford HAI reflète plus fidèlement les besoins réels des entreprises que d'autres plateformes comme Hugging Face.

Writer a initialement visé les équipes marketing et a été cofondée par Habib et Waseem AlShikh, anciens responsables de Qordoba, une entreprise de traitement du langage naturel et de traduction automatique. Au début de 2023, Writer a lancé la série Palmyra, incluant des modèles allant de 128 millions à 20 milliards de paramètres, et a introduit Knowledge Graph pour aider les entreprises à intégrer des données commerciales avec Palmyra et des modèles auto-hébergés.

"Nous offrons une solution complète, combinant le modèle avec un système de génération augmentée par récupération (RAG) intégré," a déclaré Habib. Cette innovation répond aux inefficacités de l'envoi de données aux modèles d'embeddings et de leur retour.

Habib plaide en faveur de modèles plus petits associés à des données d'entraînement sélectionnées, même face aux déclarations d'experts suggérant que des modèles généralistes plus grands surpassent les modèles spécialisés. Elle a noté que le classement HELM Lite montrait que des LLMs médicaux surpassaient GPT-4, affirmant : "En matière d'inférence et de coût, les entreprises bénéficient de modèles spécialisés plus faciles à gérer et plus économiques."