Почему Writer's Palmyra LLM является мощной ИИ-моделью, которая трансформирует предприятия

Стартап Writer, основанный в Сан-Франциско в 2020 году, привлек 100 миллионов долларов в сентябре 2023 года для расширения своих собственных больших языковых моделей (LLM) для корпоративных приложений. Хотя Writer не так известен, как гиганты OpenAI, Anthropic или Meta, он успешно занимает свою нишу с помощью внутренних моделей под общим названием Palmyra. Признанные компании, такие как Accenture, Vanguard, HubSpot и Pinterest, используют креативную и продуктивную платформу Writer, основанную на этих моделях.

Недавно Центр исследований основных моделей Stanford HAI представил новую метрику оценки под названием HELM Lite, которая включает обучение в контексте и позволяет LLM учиться на задачах из небольшого набора примеров, представленных во время вывода. Примечательно, что, хотя GPT-4 возглавлял этот рейтинг, модели Palmyra X V2 и X V3 показали "неожиданно" хорошие результаты, заняв высокие позиции, несмотря на их меньший размер, по словам Перси Лианга, директора центра.

В категории машинного перевода Palmyra добилась выдающихся результатов, заняв первое место. Генеральный директор May Habib подчеркнула этот успех в посте на LinkedIn, отметив: "Palmyra X превосходит классические эталоны, занимая лидирующую позицию в MMLU и возглавляя новые тесты на перевод."

Habib акцентировала внимание на экономических проблемах, с которыми сталкиваются предприятия при использовании крупных моделей, таких как GPT-4, обученная на 1,2 триллиона токенов. Она отметила: "Использование генеративного ИИ в 2024 году должно быть экономически целесообразным," объясняя, что предприятия часто испытывают трудности с высокими затратами на обслуживание и изменением подсказок из-за дистилляции моделей. Она считает, что бенчмаркинг Stanford HAI более точно отражает реальные потребности бизнеса, чем другие платформы, такие как Hugging Face.

Writer изначально нацеливался на маркетинговые команды и был основан Habib и Waseem AlShikh, которые ранее управляли Qordoba, компанией в области обработки естественного языка и машинного перевода. В начале 2023 года Writer представил серию Palmyra, включая модели с параметрами от 128 миллионов до 20 миллиардов, и запустил Knowledge Graph для интеграции бизнес-данных с Palmyra и самохостинга моделей.

"Мы предлагаем полнофункциональное решение, объединяя модель с системой генерации с увеличением выдачи (RAG)," сказала Habib. Эта инновация решает проблемы неэффективности отправки данных в модели встраивания и получения их обратно.

Habib выступает за использование меньших моделей, дополненных куратированными данными для обучения, несмотря на заявления экспертов, утверждающих, что крупные универсальные модели превосходят специализированные. Она отметила, что лидерборд HELM Lite показал, что медицинские LLM превосходят GPT-4, утверждая: "Когда речь идет о выводе и стоимости, предприятиям выгоднее использовать специализированные модели, которые легче управлять и более экономичны."