SambaNova Systems представила одну из самых больших моделей с высоким уровнем параметров на сегодняшний день — Samba-1 с триллионом параметров. В отличие от GPT-4 от OpenAI, Samba-1 не является единой моделью. Она интегрирует более 50 высококачественных AI моделей с использованием архитектуры Composition of Experts, что позволяет настраивать и оптимизировать решения под конкретные корпоративные задачи.
В сентябре SambaNova анонсировала чип SN40L, разработанный для конкуренции с Nvidia, предоставляя эффективное решение для обучения и обработки данных. Модель Samba-1 будет включена в SambaNova Suite, что позволит организациям эффективно настраивать и внедрять модели.
Родриго Лианг, соучредитель и CEO SambaNova, подчеркивает важность предоставления предварительно собранных, обученных и оптимизированных моделей. Эта особенность позволяет бизнесам достигать высоких показателей производительности без необходимости в обширной донастройке.
Как Samba-1 Использует Composition of Experts для Создания Масштабной Модели LLM
Samba-1 включает более 50 индивидуально обученных AI моделей, оптимизированных для взаимодействия. Это как модели от SambaNova, так и отобранные открытые модели, подходящие для определенных задач, такие как Llama 2, Mistral, DeepSeek Coder, Falcon, DePlot, CLIP и Llava.
«Мы взяли лучшие модели, оптимизировали их и объединили в единую модель с триллионом параметров», — отметил Лианг. Модели внутри Samba-1 могут бесшовно взаимодействовать, позволяя ответам одной модели служить входными данными для других.
Цепочка LLM для получения выводов не нова; популярные технологии с открытым исходным кодом, такие как LangChain, делают это. Однако Лианг утверждает, что подход Composition of Experts в Samba-1 предлагает значительные преимущества. В отличие от LangChain, который требует от пользователей предварительно определять цепочки моделей, специалисты Samba-1 могут динамически соединяться на основе подсказок и ответов, что повышает гибкость.
Кроме того, Samba-1 позволяет пользователям получать различные точки зрения, используя модели, обученные на разных наборах данных. «Она может динамически создавать 50 аналогов LangChain для исследования различных результатов», — отметил он.
Composition of Experts vs. Mixture of Experts
Важно различать Composition of Experts и подход Mixture of Experts, используемый некоторыми LLM, такими как Mistral. Лианг объяснил, что Mixture of Experts использует единую модель, обученную на нескольких наборах данных, что может представлять риск для конфиденциальности данных.
Напротив, Composition of Experts обеспечивает безопасность каждой модели, обучая их на отдельных, защищенных наборах данных. Этот подход гарантирует, что протоколы безопасности во время обучения будут соблюдаться и во время развертывания и обработки данных.
Индивидуальные Решения с Триллионом Параметров
Хотя Samba-1 имеет триллион параметров, организациям не всегда требуется такое масштабное решение. Используя несколько специализированных моделей, Samba-1 предлагает широкий спектр возможностей более эффективно.
«Не каждое обращение требует активации всех триллиона параметров сразу», — объяснил Лианг. Это приводит к повышению эффективности, снижению потребления ресурсов и уменьшению операционного следа, так как задействуется только необходимый специалист.
SambaNova предоставляет клиентам возможность обучать модели на их собственных данных, позволяя бизнесам развивать уникальные, оптимизированные активы. «С помощью Samba-1 вы можете иметь собственную частную модель с триллионом параметров, и как только она будет обучена на ваших данных, она принадлежит вам на неопределенный срок», — заявил Лианг.
Рейтинг
