Mistral AI Durchbricht die Grenzen: Veröffentlicht Torrent-Link für neues Open-Source-LLM

In einem kühnen Schritt hat das Open-Source-Modell-Startup Mistral AI heute ein neues großes Sprachmodell (LLM) veröffentlicht und bietet lediglich einen Torrent-Link für den Zugang an. Dies steht im starken Kontrast zur Einführung von Googles Gemini in dieser Woche, die von OpenAI’s Andrej Karpathy als „ein überrehearsches professionelles Veröffentlichungsvideo über eine Revolution in der KI“ beschrieben wurde.

Ein Demovideo von Google wurde stark kritisiert, da es übertrieben bearbeitet und inszeniert wurde, um die Fähigkeiten zur Schau zu stellen. Im Gegensatz dazu wählte Mistral einen einfachen Ansatz und teilte einen Link zum Herunterladen ihres neuen Modells, genannt Mixtral 8x7B.

Ein Reddit-Beitrag charakterisierte Mistrals LLM als „ein verkleinertes GPT-4“ und beschrieb es als ein Mischung von Expertenmodell (MoE) mit 8 Experten, die jeweils 7 Milliarden Parameter haben. Der Beitrag stellt fest, dass bei der Inferenz jedes Tokens nur 2 Experten aktiviert werden und spekuliert, dass auch GPT-4 ein MoE-Modell mit 8 Experten sein könnte, die jeweils 111 Milliarden Parameter und 55 Milliarden gemeinsame Aufmerksamkeitsparameter aufweisen, was insgesamt 166 Milliarden Parameter pro Modell ergibt.

Uri Eliabayev, ein KI-Berater und Gründer der „Machine & Deep Learning Israel“-Gemeinschaft, hob Mistrals Ruf für solche Veröffentlichungen hervor – „ohne jegliche wissenschaftliche Arbeit, Blog, Code oder Pressemitteilung.“ Der Open-Source-KI-Befürworter Jay Scambler bestätigte diese Einschätzung und stellte fest, dass die Veröffentlichung „definitiv ungewöhnlich“ war, jedoch erfolgreich für viel Aufsehen sorgte.

Diese Guerilla-Marketingstrategie wurde in der KI-Community weithin gefeiert. Der Unternehmer George Hotz kommentierte die Veröffentlichung, während Eric Jang, Vice President of AI bei 1X Technologies und ehemaliger Google-Roboterforscher, seine Begeisterung für Mistrals Marke äußerte und sie als „eine meiner Favoriten im KI-Bereich“ bezeichnete.

Das in Paris ansässige Unternehmen Mistral AI hat kürzlich eine Bewertung von 2 Milliarden Dollar in einer bedeutenden Finanzierungsrunde unter der Leitung von Andreessen Horowitz erreicht. Es ist bereits bekannt für seine rekordverdächtige Saatgüterrunde von 118 Millionen Dollar – die größte in der europäischen Geschichte – und sein erstes großes Sprach-AI-Modell, Mistral 7B, das im September letzten Jahres gestartet wurde. Das Unternehmen steht auch im Mittelpunkt der Diskussionen über das EU-KI-Gesetz und soll sich für reduzierte Vorschriften für Open-Source-KI einsetzen.