Автор Meta Galactica высказался о сложном запуске модели.

Год назад, незадолго до запуска ChatGPT от OpenAI, Meta представила свою собственную крупную языковую модель — Galactica. Эта модель вызвала значительные споры и была снята всего через несколько дней после дебюта. Теперь один из авторов поделился своим мнением о бурной судьбе проекта.

Росс Тейлор, сооснователь платформы Papers with Code, архивирующей научные статьи по машинному обучению, сыграл важную роль в разработке Galactica, модели, обученной на научной литературе. К сожалению, демонстрация модели столкнулась с серьезными проблемами, генерируя ссылки на несуществующие статьи.

В откровенном посте на X (ранее Twitter) Тейлор размышлял о трудностях, с которыми столкнулась команда, и признал: «Мы были перегружены и потеряли понимание ситуации на момент запуска, выпустив [демо] без должной проверки качества». Он отметил, что, хотя они ожидали возможной критики, интенсивность работы затмила их внимание.

Несмотря на впечатляющие результаты по сравнению с моделями, такими как PaLM от Google и Chinchilla от DeepMind, демонстрация затмивала возможности Galactica. Тейлор уточнил, что целью демо было оценить научные запросы, адресованные крупным языковым моделям. Однако он добавил: «Мы должны были понимать лучше», осознав, что журналисты часто испытывали модель вне ее предполагаемой области применения.

Интересно, что он частично объяснил негативные реакции восприятием пользователей, утверждая, что многие воспринимали Galactica как готовый продукт, несмотря на то, что это было всего лишь демо базовой модели. «Мы выложили наше видение на сайт, что ввело в заблуждение относительно ожиданий», — сказал он. Он выразил мнение, что хотя спор можно было бы смягчить, опасения по поводу того, что Galactica может генерировать «фальшивую науку», были чрезмерными.

В то время такие известные личности, как Майкл Блэк из Института Макса Планка, выражали обеспокоенность, предполагая, что Galactica может спровоцировать волну научных фальсификаций. Гради Буч, ключевой разработчик Unified Modeling Language, раск批иковал модель, назвав её «ничем иным, как статистическим абсурдом на большом масштабе». В ответ Тейлор назвал большую часть критики «действительно глупой», подержавшись мнения, что проект мог бы быть более успешным при тщательном планировании.

Оглядываясь назад, Тейлор поддерживает исследование и даже решение выпустить демо, рассматривая это как акт открытости со стороны значимого игрока в области. «Эта беспрецедентная открытость была ошибочной, учитывая уязвимости, которые она выявила», — признал он. Обязательство Meta к открытому исходному коду впоследствии привело к разработке LLaMA и её более продвинутой версии Llama 2, при этом идеи из Galactica помогли в создании этих моделей.

В завершение Тейлор выразил готовность повторить этот проект, заявив: «Лучше сделать что-то и пожалеть об этом, чем не сделать ничего». Он подчеркнул, что хотя опыт остается болезненным, полученные уроки были бесценными.