С появлением таких технологических гигантов, как Google, Samsung и Microsoft, усиливающих свои возможности генеративного ИИ на ПК и мобильных устройствах, Apple вступает в борьбу с OpenELM — новым набором открытых языковых моделей (LLM), разработанных для полной работы на автономных устройствах без необходимости подключения к облаку. OpenELM был недавно представлен в сообществе AI-кода Hugging Face и включает в себя небольшие модели, оптимизированные для эффективного генерации текста.
Обзор OpenELM
Семейство OpenELM включает восемь моделей — четыре предварительно обученные и четыре настроенные по инструкциям, размеры которых варьируются от 270 миллионов до 3 миллиардов параметров. Эти параметры представляют собой связи между искусственными нейронами в LLM, где большее количество обычно указывает на лучшее качество работы.
Предварительное обучение позволяет модели генерировать связный текст, но в основном сосредоточено на предсказании текста на основе подсказок. В отличие от этого, настройка по инструкциям помогает модели давать более релевантные и конкретные ответы. Например, когда ее просят "научить меня печь хлеб", предварительно обученная модель может ответить неинформативно, в то время как настроенная по инструкциям модель предоставит полные шаги.
Apple сделала веса своих моделей OpenELM доступными по лицензии «образец кода», что разрешает коммерческое использование и модификацию, при условии, что любые немодифицированные перераспределения сохраняют сопроводительное уведомление и отказ от ответственности. Тем не менее, Apple предупреждает пользователей, что эти модели могут выдавать неточные, вредные, предвзятые или нежелательные результаты.
Этот релиз знаменует собой значительный поворот для Apple, традиционно известной своей закрытостью и замкнутыми технологическими экосистемами. Ранее компания представила Ferret — открытую языковую модель с мультимодальными возможностями, демонстрируя свое стремление к сообществу открытого ИИ.
Ключевые особенности OpenELM
OpenELM, что расшифровывается как Открытые Эффективные Языковые Модели, предназначен для приложений на устройствах, что перекликается со стратегиями таких конкурентов, как Google, Samsung и Microsoft. Новый модель Phi-3 Mini от Microsoft, например, полностью функционирует на смартфонах, что подчеркивает тенденцию к компактным ИИ-решениям.
Разработка OpenELM возглавлялась Sachin Mehta с существенным вкладом Mohammad Rastegari и Peter Zatloukal. Модели представлены в четырех размерах: 270 миллионов, 450 миллионов, 1.1 миллиарда и 3 миллиарда параметров — все они меньше многих ведущих моделей, которые обычно превышают 7 миллиардов параметров. Модели были обучены на массивном датасете из 1.8 триллиона токенов, полученных с таких платформ, как Reddit, Wikipedia и arXiv.org, что обеспечивает разнообразие языкового понимания.
Информация о производительности
Бенчмарки производительности OpenELM показывают хорошие результаты, особенно у варианта с 450 миллионов параметров, настроенного по инструкциям. Примечательно, что модель OpenELM на 1.1 миллиарда превосходит OLMo, недавний релиз Института Аллена по ИИ, демонстрируя эффективность при значительно меньшем количестве токенов для предварительного обучения.
На различных бенчмарках предварительно обученная модель OpenELM-3B продемонстрировала следующие уровни точности:
- ARC-C: 42.24%
- MMLU: 26.76%
- HellaSwag: 73.28%
Первоначальные отзывы пользователей показывают, что хотя OpenELM генерирует надежные и соответствующие ответы, ему не хватает креативности, и он менее склонен исследовать нестандартные или неприемлемые темы. В сравнении с этим, Phi-3 Mini от Microsoft с большим количеством параметров и длиной контекста превосходит по метрикам производительности.
Заключение
По мере тестирования и оптимизации моделей OpenELM, они имеют потенциал для улучшения приложений ИИ на устройствах. Интересно будет наблюдать, как сообщество использует эту инициативу с открытым исходным кодом, особенно учитывая восторженное отношение к приверженности Apple к прозрачности и сотрудничеству в сфере ИИ.
Рейтинг
