Heute hat das in Paris ansässige AI-Startup Mistral, das im letzten Jahr mit der größten Seed-Runde Europas Schlagzeilen machte, mit der Einführung von Codestral sein erstes auf Code fokussiertes großes Sprachmodell (LLM) vorgestellt.
Codestral, jetzt unter einer nicht-kommerziellen Lizenz verfügbar, bietet ein generatives KI-Modell mit 22 Milliarden Parametern, das bei Codierungsaufgaben brilliert, von der Code-Generierung bis zur Implementierung. Mistral gibt an, dass dieses Modell über 80 Programmiersprachen unterstützt und eine wichtige Ressource für Softwareentwickler darstellt, die innovative KI-Anwendungen erstellen möchten. Das Unternehmen behauptet, dass Codestral vorherige Codierungsmodelle, einschließlich CodeLlama 70B und Deepseek Coder 33B, übertrifft und von Branchenführern wie JetBrains, SourceGraph und LlamaIndex angenommen wird.
Ein Hochleistungswerkzeug für Entwickler
Codestral 22B bietet eine Kontextlänge von 32K und ermöglicht Entwicklern den Umgang mit Code in verschiedenen Umgebungen und Projekten. Mit einem Datensatz, der mehr als 80 Programmiersprachen abdeckt, ist es bestens geeignet für vielfältige Aufgaben wie die Generierung von Code von Grund auf, das Vervollständigen von Funktionen, das Schreiben von Tests und das Schließen von Lücken in teilweise vorhandenem Code. Zu den unterstützten Sprachen gehören beliebte Optionen wie SQL, Python, Java, C und C++ sowie Nischenoptionen wie Swift und Fortran. Mistral ist überzeugt, dass Codestral die Produktivität von Entwicklern steigern, Arbeitsabläufe optimieren und erheblich Zeit sparen kann, während es gleichzeitig die Wahrscheinlichkeit von Fehlern in der Anwendungsentwicklung reduziert.
Obwohl das Modell gerade erst eingeführt wurde und auf öffentliche Tests wartet, ist Mistral zuversichtlich, dass es in den meisten Programmiersprachen die aktuellen Modelle, einschließlich CodeLlama 70B, Deepseek Coder 33B und Llama 3 70B, übertrifft.
Beeindruckende Leistungskennzahlen
Auf RepoBench, das zur Bewertung der langzeitmäßigen Vollständigkeit von Python-Code in Repositories dient, erzielte Codestral eine Genauigkeitsrate von 34 % und übertraf damit alle Mitbewerber. Auch bei HumanEval für die Python-Code-Generierung und CruxEval für die Ausgabeprognose erzielte es hervorragende Ergebnisse mit 81,1 % bzw. 51,3 %. Zudem übertraf es andere Modelle bei HumanEval für Bash, Java und PHP.
Obwohl die Leistung in C++, C und TypeScript etwas niedriger war, lag die durchschnittliche Punktzahl von 61,5 % in allen Tests leicht über der von Llama 3 70B mit 61,2 %. Im Spider-Test für SQL belegte es mit 63,5 % den zweiten Platz.
Bekannte Tools zur Steigerung der Entwicklerproduktivität und zur Entwicklung von KI-Anwendungen, darunter LlamaIndex, LangChain, Continue.dev, Tabnine und JetBrains, haben mit der Testphase von Codestral begonnen.
„Aus unseren ersten Tests ist es eine ausgezeichnete Option für Arbeitsabläufe zur Code-Generierung dank seiner Geschwindigkeit, des vorteilhaften Kontextfensters und der Unterstützung von Werkzeugen. Wir haben es mit LangGraph für selbstkorrigierende Code-Generierung getestet, und es hat gleich von Anfang an außergewöhnlich gut abgeschnitten“, sagte Harrison Chase, CEO und Mitbegründer von LangChain.
Einstieg in Codestral
Mistral bietet Codestral 22B auf Hugging Face unter einer Nicht-Produktionslizenz an, die es Entwicklern ermöglicht, die Technologie für nicht-kommerzielle Zwecke, Tests und Forschungsunterstützung zu nutzen.
Zwei API-Endpunkte stehen ebenfalls zur Verfügung: codestral.mistral.ai, der für Instruct- oder Fill-In-the-Middle-Routen innerhalb von IDEs vorgesehen ist und während einer achtwöchigen kostenlosen Beta ein benutzermanagtes API-Schlüssel bereitstellt; sowie api.mistral.ai für umfassendere Forschung, Batch-Abfragen oder die Entwicklung von Drittanbieteranwendungen, wobei die Kosten pro Token abgerechnet werden.
Entwickler können die Fähigkeiten von Codestral über Le Chat erkunden, der kostenlosen Konversationsschnittstelle von Mistral mit einer instruierenden Version des Modells.
Die Einführung von Codestral durch Mistral bietet eine bedeutende Option für Unternehmensforscher, um die Softwareentwicklung zu beschleunigen, doch die Leistung im Vergleich zu anderen codezentrierten Modellen, wie StarCoder2 aus den jüngsten Entwicklungen oder Angeboten von OpenAI und Amazon, bleibt abzuwarten.
OpenAIs Codex, der GitHub Copilot antreibt, und Amazons CodeWhisper sind ebenfalls wichtige Wettbewerber. Darüber hinaus wird OpenAIs ChatGPT zunehmend als Coding-Tool verwendet, während das GPT-4 Turbo-Modell Devin antreibt, einen semi-autonomen Coding-Agenten von Cognition. Auch Replit, das mehrere kleine KI-Coding-Modelle anbietet, und Codenium, kürzlich mit 500 Millionen US-Dollar bewertet nach einer Finanzierungsrunde der Series B über 65 Millionen US-Dollar, sind Teil des Wettbewerbsumfelds.
Rangliste
