Alibaba представила открытую модель Qwen 1.5-110B, сопоставимую по производительности с Llama 3-70B от Meta.

Недавно Alibaba объявила о выходе в открытый доступ своей первой модели с 110 миллиардами параметров, Qwen1.5-110B, из серии Qwen1.5. Эта инициатива не только демонстрирует инновационные способности Alibaba в области искусственного интеллекта, но и подчеркивает значительный прогресс китайских компаний в разработке крупных языковых моделей.

Модель Qwen1.5-110B использует архитектуру декодера Transformer и включает технологию Grouped Query Attention (GQA), что повышает эффективность вывода. Она поддерживает максимальную длину контекста в 32,000 токенов и способна обрабатывать несколько языков, включая английский, китайский, французский, испанский, немецкий, русский, японский, корейский и вьетнамский.

Оценки производительности показывают, что Qwen1.5-110B конкурирует с Llama3-70B от Meta, достигая этого без значительных изменений в методологии предобучения. Alibaba связывает улучшение производительности модели в первую очередь с увеличением её масштаба. Этот результат подчеркивает экспертность Alibaba в дизайне и оптимизации моделей, внося новый импульс в развитие крупных языковых моделей в Китае.

Кроме того, Qwen1.5-110B превосходит предыдущую модель 72B в оценках MT-Bench и AlpacaEval 2.0, подтверждая, что более крупные модели могут значительно улучшить производительность чат-моделей. Alibaba подчеркивает, что Qwen1.5-110B — это крупнейшая модель в серии и первая, превысившая 100 миллиардов параметров. Это достижение не только укрепляет лидерство Alibaba в области крупных языковых моделей, но и усиливает голос китайских предприятий на глобальной арене ИИ.

С развитием технологий ИИ крупные языковые модели становятся центром внимания многих технологических компаний. Открытый доступ к Qwen1.5-110B предоставляет разработчикам исключительный инструмент, способствующий распространению и применению технологий ИИ.

В будущем мы ожидаем новые прорывы от китайских компаний в области крупных языковых моделей, что еще больше обогатит развитие технологий ИИ инновационными идеями.