Может ли пушистый камелид претендовать на звание самой значимой истории об ИИ 2023 года? Если речь идет о Llama, крупной языковой модели от Meta, которая произвела революцию в области исследований ИИ в феврале, а затем выпустила коммерческую Llama 2 в июле и Code Llama в августе, я бы сказал, что да.
Я уже слышу возмущение. «Что? ChatGPT явно самая главная история об ИИ 2023 года!» Словно толпа кричит. «ChatGPT от OpenAI стартовал 30 ноября 2022 года и достиг 100 миллионов пользователей к февралю! Он ввел генеративный ИИ в популярную культуру!»
Но позвольте мне объяснить. Я считаю, что ChatGPT, безусловно, стал переворотом в генеративном ИИ. Как отмечает аналитик Forrester Роун Карран, это был «искры, которая разожгла огонь вокруг генеративного ИИ».
Тем не менее, феврале произошел поворотный момент, когда Meta выпустила Llama, первую серьезную бесплатную языковую модель с открытым исходным кодом, что стало началом активной дискуссии об открытом ИИ, которая продолжается весь год. Хотя другие технологические гиганты, компании-LLM и политики исследовали безопасность ИИ-моделей с открытым доступом и дорогостоящие вычислительные вызовы, открытый ИИ получил значительную популярность.
По данным Meta, с момента выпуска Llama сообщество открытого ИИ создало более 7000 производных моделей на платформе Hugging Face, включая известные модели, такие как Koala, Vicuna, Alpaca, Dolly и RedPajama. Хотя существуют и другие модели с открытым исходным кодом — такие как Mistral, Hugging Face и Falcon — Llama была первой, поддержанной данными и ресурсами крупной технологической компании.
Можно провести аналогию между ChatGPT и блокбастером 2023 года «Барби», в то время как Llama и ее аналоги с открытым исходным кодом напоминают обширную вселенную Marvel, полную спин-оффов, обещающих долговременное влияние на ландшафт ИИ.
Эта тенденция приведет к «более реальным, значимым приложениям генеративного ИИ, еще более укрепляя открытые основы этой области», сказал Кьель Карлссон, руководитель стратегии и evangelism в Domino Data Lab.
Долгосрочное влияние открытого ИИ
Эра закрытых, проприетарных моделей началась с появления ChatGPT. OpenAI, основанная в 2015 году как инициатива открытых исследований, сменила курс в 2023 году. Илья Суцкевер, соучредитель OpenAI, признал изданию The Verge, что делиться исследованиями было ошибкой, продиктованной конкурентной борьбой и соображениями безопасности.
В отличие от этого, главный научный сотрудник Meta по ИИ Янн ЛеКун выступил за коммерческий выпуск Llama 2, подчеркивая, что большие языковые модели являются важной инфраструктурой, которая должна оставаться открытой. Карлссон отметил, что сравнивать ChatGPT и Llama — это все равно что сравнивать яблоки с апельсинами, так как Llama 2 является революционной из-за своей природы с открытым исходным кодом и коммерческой лицензии, позволяющей проводить тонкую настройку и работать на локальном уровне.
Несмотря на признание значимости ChatGPT в повышении осведомленности о LLM, он утверждает, что его базовые модели GPT 3.5 и 4 имеют ограниченный спектр и должны использоваться в основном для проверки концепций.
Мэтт Шумер, генеральный директор Otherside AI, отметил, что влияние Llama, вероятно, стало результатом основ, заложенных ChatGPT. Он заявил: «Сотни компаний, созданных в прошлом году, не были бы возможны без Llama и последующих разработок».
Бывший CEO Neeva Шридхар Рамасвами похвалил Llama 2 как первую по-настоящему способную модель ИИ с открытым исходным кодом, сравнивая её с потенциальными перспективами облачной модели, где несколько компаний могли бы монополизировать возможности ИИ. Вместо этого Meta сделала Llama доступной.
Ранний утечка Llama и ее последствия
Выпуск Llama в феврале выделялся разнообразием размеров моделей — от 7 до 65 миллиардов параметров. 13B модель Llama показала лучшие результаты, чем GPT-3, по многим тестам NLP, а ее крупнейшая модель конкурировала с мощнейшими моделями, такими как PaLM и Chinchilla. Изначально Meta предоставила веса модели ограниченному числу ученых и исследователей, включая Стэнфорд для их проекта Alpaca.
После утечки на 4chan разработчики по всему миру получили доступ к LLM уровня GPT, что вызвало бум производных моделей. В июле Meta сделала Llama 2 доступной для коммерческого использования, и Microsoft интегрировала её в свою облачную платформу Azure.
Это был ключевой момент, поскольку обсуждения регулирования ИИ усилились. В июне сенаторы США выразили озабоченность по поводу утечки Llama, подчеркивая потенциальное злоупотребление в различных вредных действиях.
Несмотря на эти вызовы, Meta подтвердил свою приверженность открытым исследованиям в области ИИ. На встрече в июне Марк Цукерберг подчеркнул необходимость интеграции генеративного ИИ во все продукты Meta и подтвердил готовность компании следовать "подходу открытой науки" в исследованиях ИИ.
Meta: Защитник открытых исследований
Meta последовательно поддерживает открытые исследования, значительно способствуя созданию экосистемы вокруг фреймворка PyTorch. В конце 2023 года Meta отметит десятую годовщину инициативы Основных Исследований ИИ (FAIR), направленной на развитие ИИ через открытые исследования на благо общества.
Жоэль Пино, вице-президент по исследованиям ИИ в Meta, присоединилась к организации в 2017 году благодаря её приверженности открытой науке, что она подчеркивает как одну из основных ценностей Meta. «Причина, по которой я присоединилась, не обращая внимания на другие варианты, — это приверженность открытой науке», — отметила она.
Тем не менее, Пино отметила изменение в мотивации открытых исследований. Если изначально цель заключалась в повышении качества исследований, то недавние события значительно стимулировали производительность в экосистеме ИИ, предоставив множество стартапов альтернативными моделями.
Однако она предостерегла, что Meta не гарантирует постоянные открытые релизы; каждый проект проходит тщательный анализ рисков и преимуществ.
Размышления о Llama: точность вместо совершенства
Анджела Фан, исследователь FAIR в Meta, участвовавшая в разработке Llama и её последующих версиях, подчеркнула тщательную подготовку, вложенную в создание моделей Llama. «Хотя технология все еще развивается, мы можем создавать интересные инструменты и развивать последовательную интеграцию в наших приложениях», — заявила она.
Meta постоянно собирает отзывы от сообщества разработчиков и стартапов, использующих Llama для различных приложений, стремясь улучшить будущие итерации.
Фан выделила важность точности и тщательной подготовки в разработке Llama. Это не просто масштабные прорывы; это вопрос эффективного выполнения множества мелких задач со временем.
Поддержка открытого ИИ
Випул Вед Пракаш, соучредитель Together — стартапа, известного созданием набора данных RedPajama — согласился с мнением, что Llama и открытый ИИ являются основными изменениями 2023 года. Разработка качественных моделей в рамках обширной сети компаний и организаций позволяет эффективно распределять затраты, помогая стартапам снизить расходы на создание моделей.
Тем не менее, с началом проверки открытого ИИ регуляторами, защитники подчеркивают необходимость охраны доступа к этим моделям. На недавно прошедшем Саммите по безопасности в Великобритании доминировали опасения по поводу рисков, связанных с передовыми ИИ-системами.
Несмотря на эти опасения, коалиция сторонников открытого ИИ, включая ЛеКуна и соучредителя Google Brain Эндрю Нга, выпустила заявление, утверждающее, что открытый ИИ является «антидотом, а не ядом».
Продолжающиеся дебаты: Llama против ChatGPT
Дебаты о Llama и ChatGPT продолжают вызывать дискуссии среди экспертов. Хотя некоторые твердо считают, что ChatGPT остается доминирующей историей года, другие видят влияние Llama как предвестника преобразующих изменений в ИИ.
Николаос Василоглу, вице-президент по исследованиям ML в RelationalAI, настаивал: «Не сомневайтесь, ChatGPT — это игра, изменяющая правила», благодаря своей инженерии и операционной эффективности. Джон Лиотье, гендиректор TravelAI, разделяет это мнение, подчеркивая роль ChatGPT в доступности ИИ для повседневных пользователей.
В то же время Бен Джеймс, гендиректор Atlas, отметил, что Llama возродила исследования и инновации так, как это не смог сделать ChatGPT, предполагая долговременные последствия.
В конечном итоге обе модели значительно обогатили ландшафт ИИ. Хотя ChatGPT разжег широкий интерес к генеративному ИИ, Llama готова сформировать его дальнейшее влияние. Как выразился Карран, феномен генеративного ИИ в 2023 году не состоялся бы без ChatGPT, однако стремление к инновационным приложениям будет значительно подстегнуто сообществом открытого исходного кода.
В долгосрочной перспективе проприетарные и открытые модели будут сосуществовать. Однако без таких моделей открытого исходного кода, как Llama 2, широко используемых на уровне предприятий, ландшафт генеративного ИИ оказался бы намного менее продвинутым и слишком нишевым. Сообщество открытого кода играет ключевую роль в стимулировании значительных долгосрочных изменений в этой захватывающей области.
Рейтинг
