Alibaba präsentiert das Open-Source-Modell Qwen 1.5-110B, das die Leistungsfähigkeit von Metas Llama 3-70B erreicht.

Kürzlich gab Alibaba die Open-Source-Veröffentlichung seines ersten Modells mit 110 Milliarden Parametern, Qwen1.5-110B, aus der Qwen1.5-Serie bekannt. Diese Initiative unterstreicht nicht nur Alibabas Innovationskraft im Bereich der künstlichen Intelligenz, sondern auch den bedeutenden Fortschritt chinesischer Unternehmen bei der Entwicklung großer Sprachmodelle.

Das Modell Qwen1.5-110B nutzt eine Transformer-Decoder-Architektur und integriert die Technologie der Gruppierten Abfrage-Attention (GQA), was die Inferenz-Effizienz verbessert. Es unterstützt eine maximale Kontextlänge von 32.000 Tokens und ist in der Lage, mehrere Sprachen zu verarbeiten, darunter Englisch, Chinesisch, Französisch, Spanisch, Deutsch, Russisch, Japanisch, Koreanisch und Vietnamesisch.

Leistungsbewertungen zeigen, dass Qwen1.5-110B stark mit Metas Llama3-70B konkurriert, ohne signifikante Änderungen an der Vortrainingsmethodik vorzunehmen. Alibaba führt die Leistungssteigerung des Modells hauptsächlich auf seine erhöhte Skalierung zurück. Dieses Ergebnis spiegelt Alibabas Fachwissen in Modellgestaltung und -optimierung wider und verleiht der Entwicklung großer Sprachmodelle in China neuen Schwung.

Darüber hinaus übertrifft Qwen1.5-110B in Chat-Bewertungen die vorherige 72B-Version deutlich in den MT-Bench- und AlpacaEval 2.0-Tests. Dies bestätigt, dass größere Grundlagen-Sprachmodelle die Leistung von Chat-Modellen erheblich steigern können.

Alibaba betont, dass Qwen1.5-110B das größte Modell in der Serie ist und als erstes die Marke von 100 Milliarden Parametern überschreitet. Diese Errungenschaft festigt Alibabas Führungsposition im Bereich der großen Sprachmodelle und stärkt die Stimme chinesischer Unternehmen in der globalen KI-Landschaft.

Angesichts des fortschreitenden Fortschritts von KI-Technologien haben große Sprachmodelle für viele Technologieunternehmen an Bedeutung gewonnen. Die Open-Source-Veröffentlichung von Qwen1.5-110B bietet Entwicklern ein außergewöhnliches Werkzeug, das die Verbreitung und Anwendung von KI-Technologien fördert.

Für die Zukunft erwarten wir weitere Durchbrüche chinesischer Unternehmen im Bereich großer Sprachmodelle, die die Entwicklung von KI-Technologien mit innovativen Ideen bereichern werden.