阿里巴巴推出開源 Qwen 1.5-110B 模型,性能媲美 Meta 的 Llama 3-70B。

近期,阿里巴巴宣布開源其首個1100億參數的模型Qwen1.5-110B,來自Qwen1.5系列。這一舉措不僅展示了阿里巴巴在人工智慧領域的創新能力,還彰顯了中國企業在大型語言模型開發方面取得的重大進展。

Qwen1.5-110B模型採用Transformer解碼器架構,並整合了Grouped Query Attention (GQA)技術,提升推理效率。它支持最高32,000個標記的上下文長度,並能處理多種語言,包括英語、中文、法語、西班牙語、德語、俄語、日語、韓語和越南語。

性能評估顯示,Qwen1.5-110B與Meta的Llama3-70B競爭力相當,且未對其預訓練方法進行重大調整。阿里巴巴將模型性能的提升主要歸因於其擴大的規模,這一結果反映了阿里巴巴在模型設計和優化方面的專業技術,為中國大型語言模型的發展注入了新的活力。

此外,Qwen1.5-110B在聊天測評中表現出色,在MT-Bench和AlpacaEval 2.0評估中相較此前的72B模型具有顯著優勢,進一步證明了更大基礎語言模型能顯著提升聊天模型的性能。

阿里巴巴強調,Qwen1.5-110B是該系列中最大的模型,也是首個超過1000億參數的模型。這一成就不僅鞏固了阿里巴巴在大型語言模型領域的領導地位,也提升了中國企業在全球人工智慧領域的發言權。

隨著人工智慧技術的不斷進步,大型語言模型已成為眾多科技公司的焦點。Qwen1.5-110B的開源發布為開發者提供了卓越的工具,推動了AI技術的普及和應用。

展望未來,我們期待中國企業在大型語言模型領域繼續取得更多突破,為AI技術的發展帶來創新思維。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles