Stability AI beschleunigt die Generierung von 3D-Bildern mit der Stable Fast 3D-Technologie.

Vor nicht allzu langer Zeit war die Erstellung von 3D-Bildern eine anspruchsvolle und zeitaufwändige Aufgabe, die komplexe Drahtgittermodelle, spezielle Software und leistungsstarke Hardware erforderte. Heute hat sich dies dramatisch verändert.

Stability AI hat eine bahnbrechende generative KI-Technologie namens Stable Fast 3D eingeführt, die die rasche Erstellung von 3D-Bildern aus einem einzigen Bild in nur einer halben Sekunde ermöglicht. Dies stellt einen bedeutenden Fortschritt in der Verarbeitungszeit dar und bietet Ergebnisse, die 1200-mal schneller sind als frühere Modelle, wie das Stable Video 3D (SV3D), das für ähnliche Ausgaben bis zu 10 Minuten benötigte.

Die Implikationen von Stable Fast 3D sind enorm und finden Anwendung in Design, Architektur, Einzelhandel, virtueller Realität und Spieleentwicklung. Dieses Modell ist über den Stable Assistant-Chatbot von Stability AI, die Stability AI API sowie über eine Community-Lizenz auf Hugging Face zugänglich.

Die Technologie hinter Stable Fast 3D

Stable Fast 3D basiert auf den vorherigen Arbeiten von Stability AI mit dem TripoSR-Modell. Im März ging das Unternehmen eine Partnerschaft mit Trip AI ein, um Technologien zur schnellen 3D-Asset-Generierung zu entwickeln.

In ihrem Forschungsbericht beschreiben die Forscher von Stability AI die innovativen Methoden, die eingesetzt werden, um hochwertige 3D-Meshes schnell aus Einzelbildern zu rekonstruieren. Durch die Integration mehrerer neuartiger Techniken gehen sie häufige Herausforderungen bei der schnellen 3D-Rekonstruktion an und verbessern sowohl die Geschwindigkeit als auch die Ausgabequalität.

Kernstück von Stable Fast 3D ist ein fortschrittliches Transformer-Netzwerk, das hochauflösende Triplane – 3D-volumetrische Darstellungen – direkt aus dem Eingabebild erzeugt. Dieses Netzwerk bewältigt größere Auflösungen effizient, ohne signifikante Rechenanforderungen zu erhöhen, und erfasst feinere Details, während es Aliasing-Artefakte minimiert.

Zusätzlich bietet das Modell einen einzigartigen Ansatz zur Schätzung von Materialien und Beleuchtung. Durch ein neuartiges probabilistisches Verfahren sagt das Materialschätznetzwerk globale Werte für Metallgehalt und Rauheit voraus, was die Bildqualität und Konsistenz verbessert. Bemerkenswert ist, dass Stable Fast 3D auch essentielle Komponenten für ein vollständiges 3D-Bild – Mesh, Texturen und Materialeigenschaften – in einem optimierten, sofort einsatzbereiten Asset integriert.

Stability AIs laufende Innovationen

Stability AI ist weithin bekannt für seine Stable Diffusion Technologie zur Text-zu-Bild-Generierung. Während sich Stable Diffusion auf 2D-Bilder konzentriert, hat das Unternehmen seine 3D-Fähigkeiten seit November 2023 mit Stable 3D weiterentwickelt. Die anschließende Veröffentlichung von Stable Video 3D im März verbesserte die Qualität der 3D-Bilderzeugung und führte eine grundlegende Kamerafahrten-Funktion für die Bildanzeige ein.

Das Unternehmen stoppt nicht bei 3D; kürzlich wurde Stable Video 4D vorgestellt, das Zeit in die Generierung kurzer 3D-Videos integriert und die Grenzen der generativen KI weiter verschiebt.