Институт Аллена по искусственному интеллекту представляет «по-настоящему открытый» LLM для стимулирования «критического сдвига» в развитии ИИ.

Институт искусственного интеллекта Аллена (AI2), некоммерческая организация, основанная в 2014 году покойным соучредителем Microsoft Полом Алленом, представил OLMo — открытую языковую модель (LLM), описанную как «поистине открытая» и «современная» альтернатива закрытым моделям. Эта инициатива знаменует собой значительный сдвиг в развитии ИИ.

В отличие от других моделей, которые предоставляют только код и веса, OLMo предлагает обширные ресурсы, включая код обучения, обучающие данные и сопутствующие инструменты, а также инструменты для оценки. Все компоненты OLMo, включая код, веса и промежуточные контрольные точки, доступны под лицензией Apache 2.0, одобренной Open Source Initiative.

Анонс OLMo пришел в важный момент, когда открытый AI стремительно развивается, пытаясь догнать проприетарные модели, такие как GPT-4 от OpenAI и Claude от Anthropic. Например, генеральный директор парижского стартапа Mistral недавно подтвердил появление новой открытой модели ИИ, приближающейся по производительности к GPT-4. Вдобавок к этому, Meta недавно запустила улучшенную версию своей модели генерации кода Code Llama 70B, в то время как ожидания нарастали перед выходом следующей итерации Llama LLM.

Тем не менее, сектор открытого ИИ сталкивается с критикой со стороны некоторых исследователей, регуляторов и политиков. В частности, спорная статья в IEEE Spectrum утверждала, что «Открытый ИИ представляет собой уникальную опасность».

OLMo поддерживает «совершенно открытую» концепцию, обеспечивая полный доступ к предварительным обучающим данным, коду обучения, весам модели и процессам оценки. Это включает код для вывода, метрики обучения, журналы обучения и набор инструментов для оценки с более чем 500 контрольными точками для каждой модели, отслеживаемыми на протяжении всего процесса обучения в рамках проекта Catwalk.

Исследователи AI2 планируют постоянно улучшать OLMo, вводя различные размеры моделей, модальности, наборы данных и возможности. «Многие языковые модели сегодня не прозрачны», — отметила Ханна Хаджиширзи, руководитель проекта и старший директор по исследованиям натурального языка в AI2. «Исследователи не могут полностью понять работу модели без доступа к обучающим данным. Наша концепция позволяет исследователям научно изучать LLM, что необходимо для создания безопасного и надежного ИИ».

Натан Ламберт, ученый в области машинного обучения в AI2, подчеркнул, что OLMo представляет собой новую парадигму в LLM. «OLMo открывает новые подходы к исследованиям и развертыванию машинного обучения, способствуя научному развитию на каждом этапе процесса», — сказал он.

Сообщество открытого ИИ ответило с энтузиазмом на выход OLMo. Джонатан Франкле, главный научный сотрудник MosaicML и Databricks, назвал это «огромным шагом для открытой науки». Технический директор Hugging Face также отметил в социальных сетях, что модель «раздвигает границы открытого ИИ».

Генеральный научный сотрудник Meta Ян ЛеКун подчеркнул в пресс-релизе AI2, что «Открытые фундаментальные модели способствуют инновациям в генеративном ИИ, и активное сообщество с открытым исходным кодом играет ключевую роль в формировании будущего ИИ».