Beschleunigen Sie die LLM-Evaluierung mit Braintrust-Daten: Eine schnellere Lösung für Unternehmen.

Das in Kalifornien ansässige Unternehmen Braintrust Data hat 5,1 Millionen US-Dollar in einer Seed-Finanzierungsrunde unter der Leitung von Greylock Partners eingeworben. Gegründet von Ankur Goyal, der zuvor sein KI-Startup Impira an Figma verkauft hat, wurde Braintrust entwickelt, um Unternehmen dabei zu helfen, KI-Modelle effizient zu bewerten und zu optimieren, bevor sie in die Produktion gehen.

Trotz seiner kurzen Firmengeschichte hat Braintrust schnell zahlreiche Kunden und Investoren gewonnen, darunter bekannte Persönlichkeiten wie Elad Gil, Clem Delangue und Greg Brockman. Das Unternehmen beabsichtigt, sein Team auszubauen und weiterhin innovative Lösungen anzubieten, die Entwicklern helfen, mit dem schnelllebigen KI-Markt Schritt zu halten.

Herausforderungen der KI in der Produktion meistern

KI bildet das Rückgrat moderner Anwendungen, doch die Integration und Wartung dieser Systeme kann herausfordernd sein. Kleinste Codeänderungen, die zur Verbesserung einer Anwendung beitragen sollen, können unbeabsichtigt den gesamten Workflow stören, was die Backend-Teams unter Druck setzt. Diese reaktive Strategie kann die Kundenerfahrung negativ beeinflussen, weshalb eine Evaluierung der KI-Leistung während der Entwicklung entscheidend ist. Teams analysieren kontextspezifische Daten und Metriken, während sie mit verschiedenen Modellen und Techniken experimentieren, um optimale Ergebnisse zu erzielen.

Zeit- und Arbeitsaufwand optimieren

Traditionelle Evaluierungsmethoden sind zwar effektiv, verbrauchen jedoch oft erhebliche Zeit und Ressourcen, was die Einführung neuer Funktionen verzögert—ein Problem, das Goyal bei Impira erlebte. Als Reaktion darauf gründete er Braintrust Data, um schnellere Evaluierungen und reale Tests von Codeänderungen zu ermöglichen.

„Unser Produkt ermöglicht es Ihnen, Ihren Code in weniger als einer Stunde für Evaluierungen zu instrumentieren“, erklärte Goyal der Presse. „Sie können Evaluierungen nach Änderungen schnell wiederholen und sofortiges Feedback zur Leistung Ihres Modells erhalten sowie spezifische Fälle vor der endgültigen Bereitstellung debuggen. Dies umfasst das Protokollieren von Beispielen sowohl aus der Staging- als auch aus der Produktionsumgebung, um neue Benutzerfallen zu identifizieren.“

Schnelle Kundengewinnung

Seit dem Start im August 2023 hat Braintrust bereits Hunderte von Unternehmens- und Startup-Kunden gewonnen, darunter Airtable, Zapier, Coda und Instacart. Berichten zufolge konnten Kunden die Genauigkeit ihrer KI-Angebote innerhalb weniger Wochen um über 30 % steigern, was zu schnelleren Release-Zyklen und besserer Zusammenarbeit im Team führte.

„Unser Produkt kann in Ihrer eigenen Cloud-Umgebung betrieben werden, was unternehmensgerechte Sicherheit gewährleistet – unerlässlich in einer KI-Umgebung, die von PII und proprietären Informationen geprägt ist. Diese Funktion ermöglicht es unseren Kunden, Braintrust für kritische Arbeitslasten zu nutzen“, fügte Goyal hinzu.

Effizienz von KI-Teams steigern

Neben Evaluierungstools bietet Braintrust Funktionen, die KI-Teams eine schnellere Iteration ermöglichen, wie einen Prompt-Spielplatz zum Vergleichen von Eingaben, das Benchmarking von Eingabe-Ausgabe-Paaren, das Management von Datensätzen und einen KI-Proxy, der den Zugang zu beliebten Modellen von OpenAI, Anthropic, LLaMa 2 und Mistral bietet.

Wachsende Fokussierung auf KI-Qualität

Mit der zunehmenden Nutzung von KI-Lösungen steigt die Nachfrage nach Tools, die die Modellleistung bewerten und bestehende Lücken schließen. Braintrust ist nicht der einzige Anbieter in diesem Bereich; seit dem Launch von ChatGPT sind viele Unternehmen entstanden, die verschiedene Produkte anbieten, um die Modellleistung zu messen und die Beobachtbarkeit zu verbessern.

Goyal hebt den einzigartigen Ansatz von Braintrust hervor: „Während viele Produkte sich auf die Beobachtbarkeit konzentrieren, die nur Einblicke nach der Bereitstellung ermöglicht, erlauben unsere Bewertungen Ingenieurteams, mit Geschwindigkeiten von bis zu zehn Mal schneller zu innovieren als solche, die sich nur auf nachträgliche Korrekturen verlassen.“

Mit der kürzlichen Finanzierung von Greylock, die das gesamte Kapital auf 8,3 Millionen US-Dollar erhöht, plant Goyal, das Team zu erweitern und den Produktfahrplan voranzutreiben. Dies wird die Fähigkeiten von Braintrust in den Bereichen Evaluierungen und KI-Tools verbessern, einschließlich Funktionen für den Prompt-Spielplatz, Produktionsprotokollierung, Unterstützung mehrerer Modelle und mehr.