OctoAI stellt OctoStack vor: Unternehmen mühelos eigene KI-Modelle anpassen und bereitstellen.

Das in Seattle ansässige Unternehmen OctoAI hat OctoStack eingeführt, eine Plattform, die Unternehmen ermöglicht, private generative KI-Modelle zu implementieren. Diese schlüsselfertige Produktionslösung kann in einer virtuellen privaten Cloud oder vor Ort genutzt werden und bietet optimierte Inferenz, Modellanpassung und Asset-Management. OctoAI zielt darauf ab, Firmen die Flexibilität zu geben, generative KI-Anwendungen zu entwickeln und zu betreiben, die auf ihre spezifischen Bedürfnisse abgestimmt sind.

„Der Aufbau von tragfähigen und zukunftssicheren generativen KI-Anwendungen erfordert mehr als nur kostengünstige Cloud-Inferenz“, sagte Luis Ceze, CEO von OctoAI. „Portabilität der Hardware, Modellintegration, Feinabstimmung und Lastenverteilung sind Full-Stack-Herausforderungen, die umfassende Lösungen verlangen.“

OctoStack unterstützt die Feinabstimmung und Bereitstellung verschiedener Open-Source- und kommerzieller KI-Modelle, einschließlich der Llama-Familie von Meta, Mistrals 8x8B und Stable Diffusion. Das Modell Claude von Anthropic ist in dieser Plattform jedoch nicht enthalten, da es ausschließlich in der Cloud verfügbar ist. „Wir bieten hochgradig leistungsfähige Open-Source-Modelle an, die die Kunden vollständig steuern und anpassen können“, fügte Ceze hinzu.

Vollverwaltete vs. Selbstverwaltete Lösungen

Diese Veröffentlichung folgt dem vorherigen Angebot von OctoAI, einem selbstoptimierenden Infrastrukturservice. Ceze betonte, dass OctoStack eine selbstverwaltete Lösung ist, da die Nachfrage nach privaten Implementierungen mit einem Kundenbedarf von „Milliarden von Tokens pro Tag“ gewachsen ist. Er verglich es damit, einen Blog auf einem privaten Server anstatt auf einer gemeinsamen Plattform zu hosten, und hob die Bedeutung der Datensicherheit für Unternehmen hervor.

„Da Unternehmen KI zunehmend annehmen, machen sie sich Sorgen über die Übertragung von Daten über APIs außerhalb ihrer Jurisdiktion“, erklärte Ceze. „OctoStack ermöglicht es den Kunden, ihre Modelle auszuwählen und anzupassen, während eine völlig private API bereitgestellt wird. Wir verwalten die Infrastruktur, um sicherzustellen, dass die Modelle zuverlässig und effizient auf ihren GPUs laufen.“

Obwohl Hunderte von Kunden OctoAI’s vollverwaltete Lösung nutzen, gab Ceze keine Nutzerzahlen für OctoStack bekannt. Er erwähnte Unternehmen wie Apate.ai, Otherside AI, Latitude Games und CapitalAI, die bereits mit generativen KI-Tools experimentieren, als Hauptzielgruppen für dieses Angebot.

Wachstumspotenzial für Generative KI in Unternehmen

Der Unternehmensmarkt bietet erhebliche Chancen für die Einführung generativer KI. Ein Bericht von Menlo Ventures ergab, dass im letzten Jahr 400 Milliarden USD für Cloud-Software in diesem Sektor ausgegeben wurden, wobei AI 70 Milliarden USD (18%) ausmachte und generative KI nur 2,5 Milliarden USD betrug – weniger als 1%.

„Die aktuelle Nutzung und das Interesse an generativer KI unter Unternehmen sind hoch, wobei über die Hälfte der CIOs eine formale Einführung plant“, bemerkte Hyoun Park, CEO von Amalgam Insights. „Jedoch bleiben die Möglichkeiten zur Modellanpassung und Feinabstimmung begrenzt.“

Ray Wang, Gründer von Constellation Research, beobachtete, dass viele Organisationen für eine Multi-Vendor-Landschaft optimieren, ohne einen reinen generativen KI-Stack zu haben. Er sieht OctoStack positiv, da es die Fähigkeiten zentralisiert und den Bereitstellungsprozess vereinfacht.

OctoAI sieht sich der Konkurrenz von Startups und etablierten Akteuren wie Nvidia, Databricks und SambaNova Systems gegenüber. Dennoch zeigt sich Ceze von der Position von OctoAI überzeugt. „Das ist ein dynamischer Bereich, und während der Wettbewerb zunehmen wird, hebt uns unser einzigartiger Fokus auf technologieübergreifende Optimierungen ab. Das ist das Fundament unseres Unternehmens.“