H2O AI представила Danube: суперкомпактную LLM, оптимизированную для мобильных приложений.

Сегодня компания H2O AI, стремящаяся демократизировать искусственный интеллект с помощью открытых и собственных инструментов, объявила о запуске Danube — ультралегкой языковой модели (LLM), специально разработанной для мобильных устройств. Названная в честь второй по величине реки Европы, эта открытописьменная модель включает 1,8 миллиарда параметров и, по сообщениям, демонстрирует производительность, равную или даже превосходящую аналогичные модели в различных задачах обработки естественного языка. Это ставит её в ряд таких известных конкурентов, как Microsoft, Stability AI и Eleuther AI.

Время объявления совпадает с растущим интересом со стороны предприятий, разрабатывающих потребительские устройства и стремящихся использовать потенциал офлайн-генеративного ИИ. Позволяя моделям работать локально на устройствах, пользователи могут получать быстродействующую помощь без зависимости от облачных сервисов.

«Мы рады представить H2O-Danube-1.8B как портативную LLM для мобильных устройств. Появление компактного, экономически эффективного оборудования и более совершенных техник обучения сделало модели среднего размера более доступными. Мы верим, что H2O-Danube-1.8B произведет революцию в офлайн-приложениях для мобильных устройств», — отметил Шри Амбати, генеральный директор и соучредитель H2O.

Ключевые характеристики LLM Danube-1.8B

Хотя модель только что была представлена, H2O утверждает, что Danube может быть адаптирована для различных приложений обработки естественного языка на компактных устройствах, включая здравый смысл, понимание прочитанного, суммирование и переводы. Для тренировки модели H2O собрала триллион токенов из разнообразных веб-ресурсов и использовала передовые методики, заимствованные из моделей Llama 2 и Mistral, для повышения её возможностей.

«Мы адаптировали архитектуру Llama 2, чтобы она содержала около 1,8 миллиарда параметров, использовали токенизатор Llama 2 с словарем на 32 000 слов и обучили модель на длину контекста 16 384. Кроме того, мы интегрировали механизм внимания Mistral с размером 4 096», — уточнила компания на Hugging Face.

Бенчмарки показывают, что Danube демонстрирует сопоставимые или даже лучшие результаты, чем большинство моделей в диапазоне 1-2 миллиарда параметров. Например, в тесте Hellaswag, оценивающем понимание естественного языка, Danube достигла точности 69,58%, уступив лишь Stable LM 2 от Stability AI, имеющей 1,6 миллиарда параметров и обученной на 2 триллионах токенов. В бенчмарке Arc по продвинутому ответу на вопросы Danube заняла третье место с точностью 39,42%, уступив Microsoft Phi 1.5 (1,3 миллиарда параметров) и Stable LM 2.

Инструменты для бесшовного внедрения

Выпущенная под лицензией Apache 2.0, Danube-1.8B доступна для коммерческого использования. Команды, заинтересованные в внедрении этой модели для мобильных приложений, могут скачать её с Hugging Face и настроить для конкретных задач.

Чтобы упростить этот процесс, H2O планирует в ближайшее время представить дополнительные инструменты. Кроме того, доступна адаптированная версия модели для бесед — H2O-Danube-1.8B-Chat.

В долгосрочной перспективе введение Danube и подобных компактных моделей ожидается, что увеличит применение офлайн-генеративного ИИ на смартфонах и ноутбуках, улучшая такие задачи, как суммирование писем, помощь в наборе текста и редактирование изображений. Samsung уже предприняла шаги в этом направлении, выпустив линейку смартфонов S24.