Snowflake, ведущий провайдер облачных данных, официально интегрировал модель Jamba-Instruct от AI21 Labs в свой сервис Cortex AI. Эта новая функция предназначена для помощи корпоративным клиентам Snowflake в разработке приложений генеративного ИИ, таких как чат-боты и инструменты для суммирования, которые эффективно обрабатывают объемные документы без потери качества или точности.
С сегодняшнего дня модель Jamba-Instruct позволяет организациям использовать большие файлы, что является важной необходимостью для многих предприятий. Хотя AI21 Labs является значимым партнером, Snowflake сотрудничает с различными LLM для улучшения своего экосистемы генеративного ИИ. Недавно Snowflake объединился с Meta для интеграции семейства Llama 3.1 и запустил свою собственную модель 'Arctic', что подчеркивает его активные шаги в области генеративного ИИ.
Преимущества Jamba-Instruct для пользователей Snowflake
В марте AI21 Labs представила Jamba, открытую модель генеративного ИИ, которая сочетает архитектуру трансформера с новой, эффективной по памяти моделью Structured State Space (SSM). Jamba выделяется своей выдающейся контекстной оконной длиной в 256K токенов, что обеспечивает трехкратное увеличение пропускной способности для длинных контекстов по сравнению с аналогичными моделями. Эта эффективность привела к созданию Jamba-Instruct, версии, настроенной на выполнение заданий, которая включает усовершенствованное обучение, возможности чата и функции безопасности для корпоративных приложений.
Запущенная на платформе AI21 в мае, Jamba-Instruct теперь является частью Cortex AI, сервиса Snowflake без кода для создания мощных генеративных приложений. "С учетом широты контекста, Jamba-Instruct обрабатывает до 256K токенов — около 800 страниц текста, что делает его неоценимым инструментом для управления большими документами," — отметил Бари́с Гюлтекин, глава направления ИИ в Snowflake.
Например, финансовые аналитики могут воспользоваться инструментами Q&A для извлечения анализа из объемных отчетов 10-K, в то время как клиницисты могут быстро анализировать обширные отчеты пациентов для поиска необходимой информации. Розничные продавцы также могут создавать чат-ботов, способных поддерживать непрерывные, основанные на ссылках диалоги с клиентами.
Гюлтекин подчеркнул, что широкий контекст позволяет упростить создание процессов, дополненных извлечением информации (RAG), что обеспечивает эффективный поиск данных и поддержку сгенерированных подсказок для создания контента с заданным тоном.
Экономическая эффективность
Помимо возможностей работы с долгими документами, Jamba-Instruct предлагает значительную экономию затрат для клиентов Snowflake. Гибридный дизайн модели и технология смешивания экспертов (MoE) делают ее расширенное контекстное окно более доступным по сравнению с другими моделями трансформеров. В сочетании с серверной инференцией Cortex AI и моделью ценообразования на основе потребления, предприятия оплачивают только используемые ресурсы, исключая необходимость в дорогостоящей специализированной инфраструктуре.
"Организации могут эффективно сбалансировать производительность, стоимость и задержки, используя масштабируемость Snowflake вместе с эффективностью Jamba-Instruct. Архитектура Cortex AI обеспечивает бесшовное масштабирование вычислительных ресурсов," — объяснил Панкадж Дугар, старший вице-президент и генеральный директор AI21 Labs в Северной Америке.
В настоящее время Cortex AI поддерживает различные LLM, включая модель Arctic от Snowflake и предложения от Google, Meta, Mistral AI и Reka AI. "Мы стремимся предоставить нашим клиентам возможность выбирать между открытыми и коммерческими моделями, отвечая на их специфические потребности без усложнения управления данными," — добавил Гюлтекин.
Ожидается, что выбор моделей будет расширен, и новые варианты, особенно от AI21, появятся в ближайшие месяцы. Гюлтекин подчеркнул, что отзывы клиентов играют ключевую роль в оценке и интеграции LLM, чтобы гарантировать наличие подходящих инструментов для различных случаев использования, включая автоматическую бизнес-аналитику, разговорных помощников и суммирование текста.
Недавно Snowflake приобрела компанию TruEra, чтобы помочь клиентам ориентироваться в расширяющемся спектре выбора моделей. Гюлтекин отметил, что TruEra’s TruLens позволяет пользователям экспериментировать с LLM и оценивать наилучшие варианты для их нужд.
На сегодняшний день более 5,000 предприятий используют возможности ИИ Snowflake, сосредотачиваясь на ключевых приложениях, таких как автоматизированная бизнес-аналитика, разговорные помощники и суммирование текста.
Рейтинг
