Meta запустила Llama 3.1: мощную открытую модель, способную бросить вызов доминированию OpenAI.

Meta недавно представила Llama 3.1, охарактеризовав его как "самую мощную открытую базовую модель" на сегодняшний день. В официальной записи в блоге сообщается, что этот релиз обозначает важный этап в развитии открытых крупных моделей, знаменуя начало новой эпохи в ИИ.

Серия Llama неизменно находится на переднем плане открытых крупных моделей, а Meta, наряду с OpenAI, представляет будущее как открытых, так и проприетарных технологий. На презентации Llama 3.1 генеральный директор Meta Марк Цукерберг подчеркнул важную роль открытого кода в положительной эволюции ИИ и объявил о планах сделать открытые ИИ-технологии отраслевым стандартом.

Llama 3.1 доступен в трех размерах параметров: 8B, 70B и 405B, что позволяет использовать его в различных приложениях, таких как многоязычные агенты, сложное логическое размышление и помощь в программировании. Модель обладает расширенным контекстным окном в 128K, что значительно превышает предыдущие 8K, и поддерживает множество языков, включая английский, немецкий и французский. Кроме того, она предлагает улучшенные возможности работы с инструментами, позволяющие интегрироваться с поисковыми системами и выполнять математические вычисления через Wolfram Alpha, одновременно предлагая более гибкую лицензию, которая позволяет пользователям оптимизировать другие крупные языковые модели (LLM) с использованием Llama 3.1.

Бенчмарк-оценки показывают, что модель с 405B параметрами Llama 3.1 составляет конкуренцию таким лидерам, как GPT-4o, Claude 3.5 Sonnet и Gemini Ultra, утверждая статус самой мощной модели от Meta на сегодняшний день. Перед официальным запуском результаты тестирования просочились в технологическое сообщество, что вызвало активные обсуждения и признание впечатляющих возможностей Llama 3.1.

Стоит отметить, что Meta также опубликовала объемный технический отчет из 92 страниц, подробно описывающий разработку и обучение Llama 3.1, которое проводилось с использованием более 150 триллионов токенов и 16,000 GPU NVIDIA H100. Для обеспечения стабильности обучения Meta использовала только архитектуру модели Transformer, избегая популярной в настоящее время модели микса экспертов (MoE).

После релиза Llama 3.1 Meta быстро заключила партнерства с несколькими компаниями для создания более широкой экосистемы. Такие компании, как Amazon, Databricks и NVIDIA, начали предлагать поддержку разработчикам в тонкой настройке и обучении своих моделей. В Китае Tencent Cloud интегрировала Llama 3.1 в свою платформу TI, проводя соответствующую настройку и тестирование.

Обсуждая важность открытого кода, Цукерберг отметил, что он дает возможность разработчикам сохранять контроль над своими моделями, обеспечивает безопасность данных и снижает стоимость разработки. Для Meta открытое программное обеспечение имеет ключевое значение для поддержания технологической конкурентоспособности. Он подчеркнул, что открытая экосистема позволит большему количеству людей получить выгоду от технологий ИИ, что предотвратит концентрацию технологий в руках нескольких корпораций.

Поскольку технологические гиганты продолжают активно инвестировать в сектор ИИ, Meta стратегически меняет курс с метавселенной на ИИ, планируя скорректировать бюджет своего подразделения Reality Labs для поддержки более широкой команды генеративного ИИ. Аналогично, Alphabet, материнская компания Google, подтвердила свои намерения инвестировать в ИИ в финансовых отчетах, указывая, что крупные компании стремятся к инновациям и прорывам в конкурентной среде искусственного интеллекта.

С запуском Llama 3.1 конкуренция в области открытых ИИ-технологий обещает усилиться, поскольку ведущие технологические компании стремятся определить будущее развития в этой области.