Hailo tritt gegen Nvidia an: Vorstellung des energieeffizienten Gen AI Accelerators für Edge-Geräte und Sicherung von 120 Millionen US-Dollar Finanzierung.

Während Nvidia im Bereich der generativen KI mit seinem umfangreichen Hardware- und Softwareangebot floriert, drängen Startups wie Hailo auf den Markt. Das israelische Startup Hailo hat den Hailo-10 vorgestellt, einen neuen energieeffizienten generativen KI-Beschleuniger, der speziell für Edge-Geräte entwickelt wurde.

Der Hailo-10 Prozessor ermöglicht es generativen KI-Anwendungen, auf Edge-Geräten wie Fahrzeugen und gewerblichen Robotern zu arbeiten, ohne auf Cloud-Rechenzentren angewiesen zu sein. Hailo behauptet, dass dies die Modellleistung erheblich steigern und Kosten sowie Energieverbrauch senken wird.

Im Zusammenhang mit der Einführung des Hailo-10 gab das Unternehmen eine Erweiterung seiner Finanzierungsrunde der Series C bekannt und sicherte sich zusätzlich 120 Millionen Dollar. Diese Investition, angeführt von neuen sowie bestehenden Investoren aus verschiedenen Branchen, bewertet Hailo mit 1,2 Milliarden Dollar. "Diese Finanzierung ermöglicht es uns, spannende Chancen in unserer Pipeline zu nutzen und positioniert uns für langfristiges Wachstum", sagte Hailo-Mitgründer und CEO Orr Danon. Er betonte, dass der Hailo-10 Beschleuniger die Integration generativer KI in den Alltag nahtlos unterstützen wird, sodass Nutzer Tools wie Chatbots und Inhaltsgeneratoren mit beispielloser Flexibilität nutzen können.

Was der Hailo-10 Generative AI Accelerator Zu Bieten Hat

Generative KI transformiert bereits Unternehmen, indem sie Marketinginhalte erstellt und menschenähnliche Gespräche simuliert. Dennoch bleiben die Edge-Funktionalitäten weitgehend ungenutzt. Hailo strebt an, komplexe Funktionen wie Roboter, die natürliche menschliche Interaktionen ermöglichen, mit seinem neuen Prozessor Wirklichkeit werden zu lassen.

Während traditionelle KI-Hardware in Cloud-Datenzentren Edge-Anwendungen unterstützen kann, ist Cloud-Computing oft von Latenzzeiten aufgrund von Datenverzögerungen betroffen. Der Hailo-10 überwindet diese Herausforderung, indem er generative KI-Services direkt auf Geräten ausführt und so deren Verarbeitungskapazitäten verbessert.

Ob bei der Automatisierung in Echtzeit, der Generierung von Software-Code oder der Erstellung von Bildern und Videos aus Textvorgaben – der Hailo-10 erlaubt es Nutzern, diese Aufgaben direkt auf PCs oder anderen Edge-Systemen auszuführen, ohne die CPU zu belasten oder den Akku zu entladen, so Danon.

Mit der gleichen Software-Suite wie seine Vorgänger Hailo-8 und Hailo-15 arbeitet der Hailo-10 mit einem beeindruckenden Verhältnis von Leistung zu Energieverbrauch. Er kann Llama2-7B mit bis zu 10 Token pro Sekunde bei weniger als 5W Stromverbrauch ausführen und Bilder mit Stable Diffusion 2.1 in weniger als 5 Sekunden generieren.

Da generative KI im Edge-Bereich zunehmend immersiv wird, liegt der Fokus darauf, große Sprachmodelle (LLMs) innerhalb minimaler Leistungsgrenzen – idealerweise unter fünf Watt – zu betreiben. Der Hailo-10 erreicht bis zu 40 TOPS (tera operations per second) und setzt damit einen neuen Leistungsstandard für Edge-AI-Beschleuniger.

Im Vergleich dazu liefert Nvidias Jetson-Reihe, die Edge-AI-Workloads verarbeitet, bis zu 275 TOPS, verbraucht jedoch auch mehr Energie. Für Einsteiger-Edge-AI-Anwendungen bietet Nvidias Orin Nano bis zu 40 TOPS mit einem Stromverbrauch zwischen 5W und 15W. Danon wies darauf hin, dass der Hailo-10 bei der Inferenzleistung gegenüber GPU-basierten Lösungen überlegen ist, dank seiner Kosteneffizienz und des geringeren Strombedarfs, was ihn für kompaktere Edge-Systeme geeignet macht.

Erste Zielbranchen für Hailo-10

Hailo plant, die PC- und Automobil-Infotainmentsektoren anzusprechen, wenn der Hailo-10 im zweiten Quartal 2024 ausgeliefert wird. Es bleibt jedoch abzuwarten, wann das Unternehmen Anwendungen wie generative KI-gesteuerte Roboter expandiert, ein Gebiet, das bereits von Nvidia mit seinem GR00T-Projekt erkundet wurde.

Derzeit kooperiert Hailo mit 300 globalen Kunden aus verschiedenen Sektoren, darunter Computing, Automobil, Sicherheit, Industrie 4.0, Einzelhandel und Gesundheitswesen, mit namhaften Unternehmen wie NEC, Bosch, Schneider Electric, Dell, ABB und Foxconn.

Zusammenfassend lässt sich sagen, dass der innovative Hailo-10 generative KI-Beschleuniger von Hailo das Edge-Computing neu definieren könnte und energieeffiziente Alternativen zu bestehenden Lösungen bietet, während er die Möglichkeiten einer Vielzahl von Anwendungen verbessert.