AI21 запускает Jamba 1.5: улучшенная гиперсмешанная модель SSM Transformer для продвинутых возможностей агентного ИИ.

Трансформеры играют ключевую роль в области генеративного ИИ, однако они не являются единственным способом разработки моделей.

Сегодня AI21 представила новые версии своей модели Jamba, интегрировав трансформеры с подходом моделей структурированного состояния (SSM). Версии Jamba 1.5 мини и большие дополняют нововведения, введенные в Jamba 1.0 в марте. Используя метод SSM под названием Mamba, Jamba стремится объединить сильные стороны трансформеров и SSM. Название "Jamba" означает архитектуру Joint Attention и Mamba, которая обещает улучшенные производительность и точность по сравнению с одиночными моделями.

"Мы получили потрясающие отзывы от сообщества; это была первая - и остается одной из немногих - моделей промышленного масштаба на основе Mamba," сказал Ор Даган, вице-президент по продуктам в AI21. "Эта новая архитектура инициировала обсуждения о будущем архитектур LLM и о роли трансформеров."

Серия Jamba 1.5 предлагает улучшенные функциональные возможности, такие как вызов функций, режим JSON, структурированные документные объекты и режим цитирования. Эти дополнения делают модели идеальными кандидатами для разработки агентных ИИ-систем. Оба варианта обладают обширным контекстным окном в 256K и используют архитектуру Mixture-of-Experts (MoE). Jamba 1.5 мини включает 52 миллиарда параметров (12 миллиардов активных), а Jamba 1.5 большой демонстрирует 398 миллиардов параметров (94 миллиарда активных).

Эти модели доступны по открытой лицензии, AI21 предлагает коммерческую поддержку и услуги. Компания установила партнерства с AWS, Google Cloud, Microsoft Azure, Snowflake, Databricks и Nvidia.

Новые функции Jamba 1.5: Ускорение агентного ИИ

Модели Jamba 1.5 мини и большие предлагают несколько новых возможностей, нацеленных на удовлетворение потребностей разработчиков ИИ:

- Режим JSON для эффективной работы со структурированными данными

- Цитирование для повышения ответственности

- Document API для улучшенного управления контекстом

- Возможности вызова функций

По словам Дагана, эти улучшения жизненно важны для разработчиков, занимающихся созданием агентных ИИ-систем. JSON (JavaScript Object Notation) широко используется для создания рабочих процессов приложений, а его включение упрощает взаимодействие между входными и выходными данными в сложных ИИ-системах, выходя за рамки базового использования языковых моделей. Функция цитирования дополняет новый Document API.

"Мы обучаем модель ссылаться на соответствующий контент из документов, предоставленных во время генерации," объяснил Даган.

Различие режима цитирования и RAG

Важно отличать режим цитирования от Retrieval Augmented Generation (RAG), хотя обе функции направлены на обоснование результатов ИИ на надежных данных.

Даган уточнил, что режим цитирования Jamba 1.5 разработан для бесшовной интеграции с Document API, предлагая более целостный подход по сравнению с традиционными RAG. В стандартных RAG разработчики соединяют языковую модель с векторной базой данных, что требует от модели эффективно интегрировать извлеченные данные в свои выводы.

В отличие от этого, режим цитирования в Jamba 1.5 непосредственно связан с самой моделью, позволяя ей извлекать, интегрировать и прямо ссылаться на источники информации, используемые в ее выводах. Эта функция повышает прозрачность и отслеживаемость по сравнению с традиционными рабочими процессами LLM, где логика модели может быть менее очевидной.

AI21 также поддерживает RAG решения и предлагает полностью управляемый сервис, включающий извлечение и индексацию документов.

Смотря в будущее, Даган подчеркнул приверженность AI21 к развитию своих моделей для удовлетворения потребностей клиентов, с постоянным акцентом на усовершенствование агентных ИИ-возможностей. "Мы осознаем необходимость инноваций в агентных ИИ-системах, особенно в области планирования и выполнения," заявил он.