Snowflake представила Arctic: открытую модель "Смешивание Экспертов" (Mixture-of-Experts) для конкуренции с DBRX и Llama 3.

Сегодня Snowflake представила Arctic — крупномасштабную языковую модель (LLM), разработанную для выполнения сложных задач в корпоративной среде, таких как генерация SQL, создание кода и соблюдение инструкций. Arctic позиционируется как "самая открытая LLM корпоративного уровня" и использует архитектуру с смешанными экспертами (MoE), эффективно достигая высоких показателей в области корпоративных рабочих нагрузок. Она демонстрирует конкурентоспособные результаты по сравнению со стандартными моделями от Databricks, Meta и Mistral в таких областях, как знание мира, общие понятия, логика и математические способности.

"Это знаковый момент для Snowflake, и наша команда по исследованию ИИ находится на переднем крае инноваций," — заявил генеральный директор Сридхар Рамасвами. "Предоставляя ведущую в индустрии интеллектуальность и эффективность открытым образом, мы расширяем потенциал открытого ИИ. Наши исследования с Arctic значительно улучшат нашу возможность предоставлять надежный и эффективный искусственный интеллект нашим клиентам."

Запуск Arctic является стратегическим шагом Snowflake в конкуренции с Databricks, активно развивающим свои инициативы в области ИИ. Уделение большего внимания ИИ стало заметным после приобретения Neeva и назначения Рамасвами на пост генерального директора.

Arctic: Разработана для Корпоративных Рабочих Нагрузок

С ростом внедрения генеративного ИИ в современных предприятиях наблюдается увеличение разработок таких приложений, как чат-боты с расширенной памятью (RAG), интеллектуальные помощники и помощники по коду. Несмотря на наличие множества моделей, лишь немногие из них ориентированы на корпоративные требования — здесь Arctic от Snowflake демонстрирует свои преимущества.

"Мы уверены, что ИИ улучшит разработку комплексных ИИ-продуктов. Наша цель — создать API, который позволит бизнес-пользователям напрямую взаимодействовать с данными, демократизируя их на уровне всего предприятия. Arctic является важным шагом к реализации этой цели," — отметил Рамасвами на недавней пресс-конференции.

Arctic использует гибридную архитектуру Dense MoE, сегментируя параметры на 128 специализированных экспертных подгрупп. Эти эксперты обрабатывают лишь те входные токены, к которым они наилучшим образом подготовлены, активируя всего 17 миллиардов из 480 миллиардов параметров для ответов на запросы. Этот целенаправленный подход обеспечивает высокую производительность при минимальных вычислительных затратах.

Бенчмарки показывают, что Arctic эффективно справляется с корпоративными задачами, достигая среднего балла 65% в различных тестах. Это близко к среднему показателю Llama 3 70B в 70% и отстает только от Mixtral 8X22B с 70%.

В бенчмарке Spider для генерации SQL Arctic набрала 79%, превзойдя Databricks DBRX и Mixtral 8X7B, и приблизилась к Llama 3 70B и Mixtral 8X22B. Для программирования Arctic достигла 64,3%, опередив Databricks и меньшую модель Mixtral, хотя и уступила Llama 3 70B и Mixtral 8X22B. Важно отметить, что в бенчмарке IFEval по соблюдению инструкций Arctic набрала 52,4%, оказавшись лучше большинства конкурентов, кроме самой последней модели Mixtral.

Эффективность и Экономия Затрат

Snowflake утверждает, что уровень корпоративного интеллекта Arctic был достигнут с выдающейся эффективностью, используя бюджет на вычисления для обучения менее чем в 2 миллиона долларов — значительно меньше, чем у других моделей, таких как Llama 3 70B, которой потребовалось в 17 раз больше вычислительных ресурсов. Кроме того, использование всего 17 активных параметров значительно увеличивает экономическую эффективность.

Доступность по Лицензии Apache 2.0

Snowflake предоставляет возможность использовать Arctic через Cortex, свою службу разработки приложений LLM, а также через различные каталоги моделей, включая Hugging Face, Lamini, Microsoft Azure, Nvidia API, Perplexity и Together. Пользователи могут скачать веса модели Arctic и код с Hugging Face по лицензии Apache 2.0, что позволяет неограниченное использование как в личных, так и в коммерческих или исследовательских целях.

Наряду с выпуском модели Snowflake предлагает набор данных для эффективной дообучения на одном GPU и подробные руководства по исследованиям, описывающие проектирование и процесс обучения модели.

"Руководство создано для ускорения учебного процесса для всех заинтересованных в моделях MoE мирового класса, предлагая как высокоуровневые идеи, так и детальные технические спецификации, чтобы дать пользователям возможность создавать эффективные и экономичные LLM, такие как Arctic," — заявил Барис Гультекьин, руководитель ИИ в Snowflake, на пресс-брифинге.