Mach Platz, Devin: Die Genie von Cosine Erringt die Krone für KI-Coding-Exzellenz

Cognition hat kürzlich mit seinem KI-gesteuerten Software-Ingenieur Devin für Aufsehen gesorgt, der autonom Code schreiben und bearbeiten kann, basierend auf OpenAIs GPT-4. Doch nur fünf Monate nach Devins Markteinführung im März 2024 ist ein neuer Herausforderer aufgetaucht: Cosines Genie.

Genie, ein autonomer KI-Ingenieur, der von dem Y Combinator-unterstützten Unternehmen Cosine entwickelt wurde, behauptet, Devin mit einer Punktzahl von 30% im SWE-Bench-Benchmark zu übertreffen – erheblich höher als Devins 13,8% und besser als Amazons 19% für deren Modelle Q und Factory's Code Droid. Alistair Pullen, CEO von Cosine, betont, dass Genie über Benchmark-Punktzahlen hinausgeht. „Dieses Modell wurde speziell trainiert, um wie ein menschlicher Software-Ingenieur zu denken und zu handeln“, erklärte er in sozialen Medien.

Was ist Genie und was kann es tun?

Genie wurde entwickelt, um eine Vielzahl von Programmieraufgaben autonom zu bewältigen – von der Fehlerbehebung über den Aufbau neuer Funktionen bis hin zur Codevalidierung. Es kann unabhängig arbeiten oder in Zusammenarbeit mit Nutzern agieren und so die Erfahrung des gemeinsamen Arbeitens mit einem fachkundigen Kollegen nachahmen. „Wir streben an, einen künstlichen Kollegen zu schaffen, der zuverlässig End-to-End-Programmieraufgaben erledigen kann“, bemerkte Pullen bei der Bekanntgabe von Genies Fähigkeiten.

Genie unterstützt 15 Programmiersprachen, darunter:

- JavaScript

- Python

- TypeScript

- Java

- C

- C++

- Rust

- Swift

- PHP

- Ruby

Pullen erklärt: „Indem Genie beobachtet, wie menschliche Ingenieure arbeiten, lernt es, deren Prozesse zu reproduzieren.“ Der generierte Code wird in den GitHub-Repositories der Nutzer gespeichert, sodass Cosine keine sensiblen Informationen speichert.

Genie integriert sich nahtlos in Plattformen wie Slack, wodurch es mit Nutzern auf eine Weise kommunizieren kann, die einem menschlichen Kollegen ähnelt. Es kann klärende Fragen stellen und auf Feedback zu Pull-Requests reagieren, was die Zusammenarbeit weiter verbessert.

Angetrieben von einem fortschrittlichen OpenAI-Modell

Genie verwendet eine proprietäre Variante von OpenAIs GPT-4o, die speziell für Ausgaben mit langen Kontexten entwickelt wurde. Dieses Modell kann bis zu 64.000 Tokens generieren, was erhebliche Vorteile gegenüber früheren Versionen mit einem Limit von 4.000 Tokens bietet.

Mit einem umfangreichen Datensatz, der Milliarden von Token-Kombinationen aus realen Ingenieurtätigkeiten umfasst, verbessert Genie kontinuierlich seine Leistung. „Unsere Trainingsdaten beinhalten PRs, Commits und Issues, die aus Open-Source-Repositories gesammelt wurden“, kommentierte Pullen. Die sorgfältige Datenpipeline stellt qualitativ hochwertige Einblicke in menschliche Problemlösungsansätze sicher.

Preismodell

Genie wird initial zwei Preiskategorien anbieten:

1. Einzelplan: Preislich wettbewerbsfähig bei ca. 20 USD bietet dieser Plan begrenzte Funktionen, zeigt jedoch Genies Potenzial für Einzelpersonen und kleine Teams.

2. Enterprise-Plan: Dieses umfassende Angebot umfasst unbegrenzte Nutzung und fortschrittliche Funktionen, die darauf ausgelegt sind, einen herausragenden KI-Engineering-Kollegen zu schaffen.

Folgen und Zukunftsaussichten

Die fortschrittlichen Fähigkeiten von Genie könnten die Softwareentwicklung revolutionieren, indem sie die Effizienz steigern und es Engineering-Teams ermöglichen, sich auf strategische Ziele zu konzentrieren. „Die Fähigkeit einer KI, komplexe Codebasen autonom zu verwalten, kann unsere Herangehensweise an die Ressourcenzuteilung radikal verändern“, sagte Pullen.

Cosine plant, Genies Funktionen zu erweitern, kleinere Modelle für grundlegende Aufgaben und größere Versionen für komplexe Herausforderungen zu entwickeln. Außerdem stehen Kooperationen mit Open-Source-Communities in Aussicht.

Nächste Schritte und Verfügbarkeit

Während Genie derzeit ausgewählten Nutzern angeboten wird, können sich Interessierte über die Cosine-Website um einen frühen Zugang bewerben. Cosine setzt sich dafür ein, kontinuierliche Verbesserungen vorzunehmen und Nutzerfeedback zu integrieren, um Genies Fähigkeiten zu optimieren.

Darüber hinaus möchte Cosine einige proprietäre Aspekte seiner Methodik beibehalten und gleichzeitig Genies Ergebnisse auf GitHub offen teilen, um unabhängige Verifizierung zu ermöglichen.

Über Cosine

Gegründet im Jahr 2022 von Pullen, Sam Stenner und Yang Li, widmet sich Cosine der Anwendung menschlicher Denkweisen auf komplexe Probleme in der künstlichen Intelligenz, beginnend mit der Softwareentwicklung. Mit 2,5 Millionen USD in Seed-Finanzierung zielt Cosine darauf ab, zu redefinieren, wie KI menschliche Aufgaben imitieren und innovieren kann. „Wir glauben, dass wir menschliches Denken in jeder Branche übersetzen können, beginnend mit der Softwareentwicklung“, bestätigte Pullen. Die Einführung von Genie ist erst der Anfang von Cosines ehrgeiziger Reise.