SambaNova запускает AI Samba-CoE v0.2: превосходит Databricks DBRX в инновациях и производительности

Производитель чипов для ИИ SambaNova Systems объявил о значительном достижении — запуске своей крупной языковой модели Samba-CoE v0.2. Эта модель обрабатывает впечатляющие 330 токенов в секунду, превосходя таких известных конкурентов, как недавно запущенный DBRX от Databricks, Mixtral-8x7B от MistralAI и Grok-1 от xAI Илона Маска.

Что выделяет это достижение, так это эффективность работы модели. Она функционирует на высокой скорости, не теряя точности, требуя всего 8 слотов в отличие от альтернатив, которым нужно 576 слотов при более низких битрейтах. В ходе наших тестов LLM генерировала ответы невероятно быстро — 330.42 токена за одну секунду на исчерпывающий ответ из 425 слов о Млечном Пути. Вопрос по квантовым вычислениям также дал быстрый ответ — 332.56 токена в секунду.

Достижения в Эффективности

Стратегия SambaNova по использованию меньшего количества слотов при высоких битрейтах представляет собой значительный прорыв в вычислительной эффективности. Компания также анонсировала выход Samba-CoE v0.3 в сотрудничестве с LeptonAI, что сигнализирует о продолжающейся инновации. Эти достижения основываются на открытых моделях Samba-1 и Sambaverse, применяющих уникальный подход к ансамблированию и объединению моделей. Эта методология поддерживает текущую версию и указывает на масштабируемый путь для будущих разработок.

Сравнение с другими моделями, такими как Gemma-7B от GoogleAI, Mixtral-8x7B от MistralAI, Llama2-70B от Meta, Qwen-72B от Alibaba Group, Falcon-180B от TIIuae и BLOOM-176B от BigScience, подчеркивает конкурентные преимущества Samba-CoE v0.2 в области ИИ. Это объявление, вероятно, вызовет интерес в сообществах ИИ и машинного обучения, способствуя дискуссиям касательно эффективности, производительности и будущего эволюции моделей ИИ.

Обзор SambaNova

SambaNova Systems была основана в 2017 году в Пало-Альто, Калифорния, Кунле Олукотуном, Родриго Лиангом и Кристофером Ре. Изначально компания сосредоточилась на кастомных чипах для ИИ, но со временем расширила свою миссию, включив в нее широкий спектр услуг, включая машинное обучение и платформу SambaNova Suite — комплексную платформу для обучения, разработки и развертывания ИИ для корпоративного сектора, запущенную в начале 2023 года. Ранее в этом году компания представила Samba-1, ИИ-модель с 1 триллионом параметров, созданную на основе 50 меньших моделей по подходу «Компоновка экспертов».

Этот переход от стартапа, сосредоточенного на аппаратном обеспечении, к многопрофильному инноватору в области ИИ отражает стремление основателей сделать ИИ-технологии масштабируемыми и доступными. SambaNova занимает прочную позицию в качестве серьезного конкурента таким гигантам, как Nvidia, привлекая 676 миллионов долларов в раунде D на сумму более 5 миллиардов долларов в 2021 году. Сегодня она конкурирует с другими стартапами, занимающимися производством чипов для ИИ, такими как Groq, и с уже установленными игроками, такими как Nvidia.