Взгляды Galactica: Что Meta узнала из судьбы модели, запущенной всего за две недели до ChatGPT

Год назад, за две недели до запуска ChatGPT от OpenAI, Meta представила Galactica — открытую «модель языка для науки», обученную на 48 миллионах научных статей. Meta утверждала, что Galactica может резюмировать академическую литературу, решать математические задачи, генерировать статьи для Википедии, писать научный код и аннотировать молекулы и белки.

Однако Galactica была снята с публикации всего через три дня, 17 ноября 2022 года, после общественного недовольства по поводу ее неточных и иногда оскорбительных выводов — явление, которое сейчас известно как «галлюцинации». Критики подчеркивали, что Galactica часто давала правдоподобные, но фактически неверные ответы, что шокировало многих в научном сообществе.

Несмотря на критику, главный ученый Meta, Ян ЛеКун, защитил Galactica в социальных сетях, заявив: «Больше невозможно весело относиться к ее случайному неправильному использованию. Счастливы?» Тем не менее, модель не оправдала ожиданий в области кардинального искусственного интеллекта.

Через две недели на сцену вышел ChatGPT. В ту же неделю появились слухи о GPT-4, что вызвало надежду среди исследователей ИИ на конференции NeurIPS в Новом Орлеане. 30 ноября вместо GPT-4 OpenAI выпустила ChatGPT, что стало ключевым моментом в мире ИИ.

ChatGPT быстро выявил собственные проблемы с галлюцинациями, генерируя уверенные, но вводящие в заблуждение ответы. OpenAI признала это ограничение в своем блоге о запуске, указав, что решение этой проблемы «сложно». Несмотря на недостатки, ChatGPT увидел стремительный рост, достигнув примерно 100 миллионов пользователей в месяц всего за два месяца и теперь имеет 100 миллионов пользователей каждую неделю.

Наследие Galactica продолжается, и Meta осознает ценные уроки, извлеченные из этого опыта. Жоэль Пино, вице-президент по исследованию ИИ в Meta, отметила: «Было много хороших уроков… Я все еще получаю множество запросов от людей, которые хотят модель». Она уточнила, что Galactica изначально задумывалась как исследовательский проект, а не продукт. «Разрыв между ожиданием и реальностью был слишком велик», — заметила Пино, указав, что уровень галлюцинаций у модели был ниже, чем у других моделей из-за фокуса на научной литературе.

После негативной реакции Meta отозвала демонстрацию Galactica, чтобы предотвратить ее неправильное использование, признав отсутствие руководства по ответственному использованию — практику, которую они с тех пор внедрили для будущих релизов. Пино отметила, что, если бы они решили сделать это снова, то лучше бы управляли ожиданиями аудитории. «Уроки из Galactica были интегрированы в наше следующее поколение моделей».

Это следующее поколение включает Llama, крупную языковую модель Meta, которая привлекла значительное внимание в феврале 2023 года, за которой последовали коммерческие Llama 2 в июле и Code Llama в августе. Llama стала первой крупной бесплатной открытой языковой моделью, что вызвало значительные дебаты в сообществе ИИ, которые продолжаются по сей день.

Когда Llama была запущена 24 февраля, Meta проявила осторожность. ЛеКун подчеркнул: «Meta привержена открытому исследованию и предоставляет все модели исследовательскому сообществу по лицензии GPL v3». Однако исследователи должны были заполнить анкету для доступа к Llama, что стало мерой предосторожности после негативной реакции на Galactica. ЛеКун объяснил: «После Galactica люди обвинили нас в угрозе основам общества».