Feinabstimmung ist entscheidend, um die Ausgaben großer Sprachmodelle (LLMs) zu verbessern und sie an spezifische Unternehmensbedürfnisse anzupassen. Richtig umgesetzt, führt dieser Prozess zu präziseren und wertvolleren Modellantworten, die es Organisationen ermöglichen, ihre Anwendungen der generativen KI optimal zu nutzen. Allerdings kann die Feinabstimmung kostspielig sein und damit Hürden für einige Unternehmen schaffen, die von diesen fortschrittlichen Fähigkeiten profitieren möchten.
Mistral, ein Anbieter von Open-Source-KI-Modellen, der sich in nur 14 Monaten nach der Gründung einer Bewertung von fast 6 Milliarden Dollar nähert, betritt den Bereich der Feinabstimmung. Ihre neue Entwicklerplattform, La Plateforme, bietet verbesserte Anpassungswerkzeuge, die darauf abzielen, Feinabstimmungsprozesse zu optimieren, die Trainingskosten zu senken und Einstiegshürden abzubauen.
Der Name Mistral, der einen starken Wind im Süden Frankreichs widerspiegelt, sorgt für Aufsehen in der KI-Landschaft, indem das Unternehmen kontinuierlich innoviert und bedeutende Mittel anzieht. In einem aktuellen Blogbeitrag betont das Unternehmen, dass die Feinabstimmung kleinerer Modelle für spezifische Bereiche die Leistung verbessern und gleichzeitig die Bereitstellungskosten minimieren sowie die Anwendungs-geschwindigkeit erhöhen kann.
Mistral-Modelle für erhöhte Anpassungsfähigkeit
Mistral hat sich etabliert, indem es robuste LLMs unter Open-Source-Lizenzen veröffentlicht hat, die eine kostenlose Anpassung ermöglichen. Zudem bietet das Unternehmen kostenpflichtige Dienste, darunter eine API und die Entwicklerplattform La Plateforme, wodurch Nutzer Anwendungen mit Mistral-Modellen erstellen können, ohne umfangreiche Server-Infrastrukturen aufbauen zu müssen; stattdessen können sie API-Aufrufe verwenden, um die Fähigkeiten von Mistral zu nutzen.
Kunden können nun Mistral-Modelle auf La Plateforme anpassen, Open-Source-Code von Mistral auf GitHub nutzen oder Zugang zu maßgeschneiderten Trainingsdiensten erhalten. Für Entwickler, die unabhängig an ihrer Infrastruktur arbeiten möchten, hat Mistral die leichte Codebasis mistral-finetune eingeführt, die das LoRA-Paradigma nutzt, um die Anzahl der anpassbaren Parameter zu minimieren.
Mistral erklärt: „Mit mistral-finetune können Sie alle unsere Open-Source-Modelle auf Ihrer Infrastruktur anpassen, ohne Kompromisse bei der Leistung oder Speicher-effizienz einzugehen.“ Für diejenigen, die an serverloser Feinabstimmung interessiert sind, bietet Mistral neue Dienste an, die auf verfeinerten Forschungs- und Entwicklungsmethoden basieren. LoRA-Adapter helfen dabei, das grundlegende Wissen der Modelle zu bewahren und gleichzeitig effiziente Bereitstellungen zu ermöglichen.
Mistral beschreibt dies als einen bedeutenden Fortschritt, um aufwendige wissenschaftliche Methoden für Entwickler von KI-Anwendungen zugänglich zu machen und eine schnelle und kosteneffektive Modellanpassung zu ermöglichen.
Die Feinabstimmungsdienste sind mit Mistrals 7,3 Milliarden-Parameter-Modell Mistral 7B und Mistral Small kompatibel. Aktuelle Nutzer können die API von Mistral für sofortige Anpassungen verwenden, mit Plänen, in den kommenden Wochen weitere Modelle für die Feinabstimmung einzuführen. Darüber hinaus optimieren Mistrals maßgeschneiderte Trainingsdienste KI-Modelle für spezifische Anwendungen unter Verwendung proprietärer Daten und setzen häufig modernste Techniken wie kontinuierliches Pretraining ein, um spezialisiertes Wissen einfließen zu lassen.
Dieser Ansatz erleichtert die Entwicklung hochspezialisierter und effizienter Modelle, die auf bestimmte Bereiche zugeschnitten sind. Um diese neuen Angebote zu feiern, hat Mistral einen Hackathon zur KI-Feinabstimmung ins Leben gerufen, der bis zum 30. Juni läuft und Entwickler dazu einlädt, mit der innovativen Feinabstimmungs-API des Startups zu experimentieren.
Mistrals beispielloses Wachstum und Innovation
Seit seiner Gründung im April 2023 durch ehemalige Mitarbeiter von Google DeepMind und Meta, darunter Arthur Mensch, Guillaume Lample und Timothée Lacroix, hat Mistral ein rasantes Wachstum erlebt. Das Unternehmen sicherte sich eine Rekord-Finanzierungsrunde von 118 Millionen Dollar—die größte in der Geschichte Europas—und bildete schnell Partnerschaften mit großen Akteuren wie IBM. Im Februar wurde Mistral Large durch eine Zusammenarbeit mit Microsoft auf Azure Cloud verfügbar gemacht.
Kürzlich haben SAP und Cisco ihre Unterstützung für Mistral bekannt gegeben, und im vergangenen Monat hat das Unternehmen Codestral, sein erstes code-zentriertes LLM, vorgestellt, das nach eigenen Angaben alle Konkurrenten übertrifft. Mistral steht außerdem kurz vor einer bedeutenden Finanzierungsrunde in Höhe von 600 Millionen Dollar, die die Bewertung auf 6 Milliarden Dollar anheben würde.
Als direkter Konkurrent von OpenAI und Meta's Llama 3 wird Mistral Large als das leistungsfähigste kommerzielle Sprachmodell der Welt bezeichnet, nach OpenAIs GPT-4. Mistral 7B, das im September 2023 eingeführt wurde, behauptet, in mehreren Benchmarks besser abzuschneiden als Llama und die Leistung von CodeLlama 7B in Kodierungsaufgaben eng zu erreichen.
Welche Innovationen Mistral als Nächstes enthüllen wird, erfahren wir bald.
Rangliste
