Présentation du modèle d'IA Qwen2 d'Alibaba Cloud : Performance améliorée et prise en charge de 128K tokens pour le traitement de longs contextes.

Aujourd'hui, Alibaba Cloud a annoncé une mise à jour de sa série de modèles open-source d'IA, connue sous le nom de Qwen, désormais désignée Qwen2. Cette mise à jour introduit cinq modèles pré-entraînés et adaptés aux instructions, de tailles variées, améliorant significativement les performances dans de multiples domaines, y compris la programmation et les fonctions mathématiques, tout en prenant en charge des longueurs de contexte plus longues.

La série Qwen2 comprend cinq modèles : Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B et Qwen2-72B. Notamment, le modèle Qwen2-72B-Instruct peut gérer des longueurs de contexte allant jusqu'à 128K tokens, offrant aux utilisateurs une capacité étendue de traitement de texte.

En matière de données d'entraînement, la série Qwen2 intègre des données de haute qualité issues de 27 langues supplémentaires en plus du chinois et de l'anglais, renforçant ainsi ses capacités multilingues. Tous les modèles utilisent la technologie de formation consciente de quantification basée sur le gradient (GQA), qui accélère la vitesse d'inférence et réduit l'utilisation de la mémoire, entraînant une expérience utilisateur plus efficace et stable.

Les résultats d'évaluation indiquent que les grands modèles de la série Qwen2 affichent des améliorations significatives. En particulier, le modèle Qwen2-72B surpasse des modèles de pointe tels que Llama-3-70B et Qwen1.5-110B en compréhension du langage naturel, traitement des connaissances, programmation, mathématiques et capacités multilingues. Cet exploit souligne la position de leader de la série Qwen2 dans le développement de modèles d'IA.

Dans le cadre de l'engagement d'Alibaba Cloud envers l'innovation et le développement de l'IA, le lancement de la série Qwen2 présente non seulement des modèles avancés et efficaces, mais met également en avant le savoir-faire technologique et la capacité d'innovation d'Alibaba Cloud dans le secteur de l'IA. Nous sommes impatients de découvrir de nouveaux modèles et technologies d'IA exceptionnels de Qwen qui contribueront davantage aux avancées dans ce domaine.