Etched hat erfolgreich 120 Millionen Dollar gesammelt, um Nvidia im Markt für KI-Chips herauszufordern. Das Unternehmen entwickelt einen neuen Chip namens Sohu, der für einen entscheidenden Aspekt der KI-Verarbeitung, die Transformer-Architektur, optimiert ist. Durch die direkte Integration dieser Architektur in seine Chips behauptet Etched, die leistungsfähigsten Server für Transformer-Inferenz zu schaffen und erklärt Sohu zum schnellsten Transformer-Chip, der jemals hergestellt wurde.
Diese Ankündigung ist besonders bemerkenswert, da Nvidia kürzlich Microsoft überholt hat, um das wertvollste Unternehmen der Welt zu werden, mit einer Bewertung von 3,3 Billionen Dollar. Etched, unterstützt von einflussreichen Investoren wie Peter Thiel, ist zuversichtlich, dass das 35-köpfige Team mit Nvidia konkurrieren kann. Die Finanzierungsrunde, angeführt von Primary Venture Partners und Positive Sum Ventures, zog institutionelle Investoren wie Hummingbird, Fundomo, Fontinalis, Lightscape, Earthshot, Two Sigma Ventures und Skybox Data Centers an.
Zu den bemerkenswerten Angel-Investoren zählen Peter Thiel, Stanley Druckenmiller, David Siegel, Balaji Srinivasan, Amjad Masad, Kyle Vogt, Kevin Hartz, Jason Warner, Thomas Dohmke, Bryan Johnson, Mike Novogratz, Immad Akhund, Jawed Karim und Charlie Cheeve. Alex Handy, Direktor des Thiel Fellowship, kommentierte: „In Etched zu investieren, ist eine strategische Wette auf die Zukunft der KI. Ihre Chips lösen Skalierungsprobleme, die Wettbewerber scheuen, und tragen dazu bei, die Stagnation in der Branche zu bekämpfen. Die Gründer verkörpern das unkonventionelle Talent, das wir unterstützen, da sie Harvard abgebrochen haben, um sich der Halbleiter-Herausforderung zu stellen. Sie ebnen den Weg für Innovationen im Silicon Valley ohne die Last von Legacy-Technologien.“
Die Nachfrage nach leistungsstarken GPUs wächst weiterhin. Etched wurde von den Harvard-Absolventen Robert Wachen, Gavin Uberti und Chris Zhu gegründet, die seit Juni 2022 stark auf KI setzen und auf das transformative Potenzial des Transformer-Modells wetten. Historisch gesehen spielten verschiedene KI-Modelle wie CNNs, RNNs und U-Nets bedeutende Rollen in ihren jeweiligen Bereichen, aber Transformer (das „T“ in ChatGPT) haben sich als erstes skalierbares KI-Modell etabliert.
„Wir glauben, dass Intelligenz mit Computingleistung weiter skaliert. Unser Wetteinsatz liegt darin, dass Unternehmen Milliarden in KI-Modelle investieren werden, die auf spezialisierten Chips laufen“, sagte CEO Gavin Uberti in einem Blogbeitrag. „In den letzten zwei Jahren haben wir Sohu, den weltweit ersten spezialisierten ASIC für Transformer, entwickelt. Dieser Chip kann traditionelle KI-Modelle, wie DLRMs, die Instagram-Feeds verbessern, oder Modelle zum Falten von Proteinen, nicht ausführen. Auch CNNs oder RNNs sind nicht möglich. Doch für Transformer ist Sohu in Geschwindigkeit und Preis-Leistungs-Verhältnis unübertroffen und übertrifft sogar Nvidias kommende Blackwell GPUs deutlich.“
Uberti betonte, dass sich die Landschaft der KI-Modelle dramatisch in Richtung Transformer verschoben hat, was sich in Entwicklungen wie ChatGPT, Sora, Gemini und Stable Diffusion 3 widerspiegelt. Sollten neue Architekturen wie SSMs oder Monarch-Mixer entstehen, könnten Etcheds Chips an Relevanz verlieren. Wenn ihre Prognosen jedoch zutreffen, könnte Sohu das gesamte Spielfeld verändern. Das Unternehmen arbeitet mit TSMC an der Fertigung im fortschrittlichen 4nm-Knoten.
Warum dieses Risiko? Etched konzentriert sich auf Transformer. Der Schlüssel zur Erreichung von Superintelligenz liegt laut Etched in der Skalierung. In nur fünf Jahren haben sich KI-Modelle von rudimentären Formen zu Systemen entwickelt, die menschliche Fähigkeiten bei standardisierten Tests übertreffen, hauptsächlich bedingt durch erhöhte Skalierung.
Durch die Erweiterung von KI-Modellen und die Verbesserung der Trainingsdatenqualität werden diese Systeme erheblich intelligenter. Die benötigte FLOPS-Zahl für das Training führender Modelle ist in den letzten fünf Jahren um bemerkenswerte 50.000 Mal von GPT-2 zu Llama-3-400B gestiegen. Uberti erklärte, dass sich KI-Architekturen früher schnell entwickelten—mit einer Vielzahl von Modellen, die auftauchten—während aktuelle, hochmoderne Systeme wie Llama 3 ihren Vorgängern wie GPT-2 nur mit geringen Anpassungen ähneln. Dieser Trend wird voraussichtlich anhalten.
„Alle großen Akteure, darunter Google, OpenAI, Amazon und Microsoft, investieren über 100 Milliarden Dollar in KI-Rechenzentren“, bemerkte Uberti. Trotz unterschiedlicher Meinungen in der Wissenschaft sind sich führende KI-Labore weitgehend einig, dass die Skalierung großer Sprachmodelle (LLMs) uns zur Superintelligenz führen wird.
Uberti betonte: „Wir erleben die größte Infrastrukturexpansion in der Geschichte. Skalierungsgesetze haben in den letzten zehn Größenordnungen (von $10^{16} bis $10^{26} FLOPS) konsistent Erfolge gezeigt. Wenn die Prognosen für die nächsten vier Größenordnungen (bis zu $10^{30} FLOPS) zutreffen, ist Superintelligenz in greifbarer Nähe, und KI-Chips werden die Marktnachfrage dominieren.“
Flexible Chips haben ihren Höhepunkt erreicht. Der Blick von Etched auf GPUs. In den letzten Jahren dominierten häufige Änderungen in Modellarchitekturen wie CNNs, DLRMs und LSTMs die KI-Landschaft, die jeweils erhebliche Kosten verursachten. Der Gesamtmarkt für KI-Chips lag zwischen 10 und 20 Milliarden Dollar.
Um diesen umfangreichen Markt zu bedienen, entwickelten viele Unternehmen vielseitige KI-Chips für eine Vielzahl von Architekturen, einschließlich Nvidias GPUs, Googles TPUs, Amazons Trainium und anderer. Alle hatten jedoch Schwierigkeiten, Nvidias H100-Leistung zu erreichen. Uberti stellte fest: „Viele Wettbewerber behaupten, Leistungssteigerungen durch die Kombination mehrerer Chips auf einer Karte zu erzielen, während die Leistung pro Fläche tatsächlich stagniert ist—Herausforderungen bestehen nach wie vor für jeden, der von GPUs zu anderen Lösungen wechseln möchte.“
Etched ist überzeugt, dass sich jeder große Computermarkt letztendlich in Richtung spezialisierter Chips bewegt, vom Networking bis zum Bitcoin-Mining, wobei enormen Leistungsgewinne gegenüber GPUs angeboten werden. Uberti erklärte: „Aufgrund der enormen finanziellen Einsätze in KI ist Spezialisierung unvermeidlich.“
Etched prognostiziert, dass der Großteil der Investitionen auf Modelle mit mehr als 10 Billionen Parametern fokussiert wird, die wahrscheinlich von einigen riesigen Cloud-Rechenzentren aus betrieben werden, wobei sich Trends aus der Chip-Fertigung widerspiegeln, wo hochpreisige, hochauflösende Anlagen kleinere ersetzt haben.
„Selbst wenn eine überlegene Architektur entwickelt wird, bringt der Wechsel von Transformer-Modellen erhebliche Herausforderungen mit sich, da grundlegende Arbeiten in verschiedenen technischen Aspekten neu durchgeführt werden müssen“, fügte er hinzu. Mit zunehmender Komplexität der KI-Modelle und steigenden Trainingskosten wird die Nachfrage nach spezialisierten Chips wachsen, und frühe Anwender werden Führer in diesem Bereich sein.
Etched ist in einer führenden Position. Die Gründer—Wachen, Uberti und Zhu—behaupten, dass bisher keine architektur-spezifischen KI-Chips entwickelt wurden. Bislang erforderte die Erstellung solcher spezialisierter Chips eine erhebliche Nachfrage und Überzeugung von ihrer dauerhaften Lebensfähigkeit.
„Wir haben uns entschieden, in Transformer zu investieren, die schnell an Fahrt gewinnen“, sagte Uberti. Mit der steigenden Nachfrage nach Transformer-Inferenz, die nun 5 Milliarden Dollar übersteigt, haben große Technologieunternehmen wie OpenAI, Google, Amazon und Microsoft Transformer-Modelle in ihre Operationen integriert.
Uberti betonte, dass sich die verschiedenen Architekturen erheblich konsolidiert haben. Modelle wie OpenAIs GPT-Serie, Googles PaLM und Facebooks LLaMa konzentrieren sich überwiegend auf Transformer.
„Wir machen schnell Fortschritte, um Sohus Potenzial zu verwirklichen“, bestätigte er. „Wir sind auf einem Kurs für den schnellsten Entwicklungszyklus für einen validierten 4nm-Chip. In Zusammenarbeit mit TSMC beziehen wir HBM3E von erstklassigen Anbietern und sichern uns Reservierungen in Höhe von mehreren zehn Millionen von KI-Unternehmen.“
Das Unternehmen wies zudem darauf hin, dass KI-Modelle heute oft zu teuer und zu langsam sind, um Produkte effektiv zu liefern, mit Herausforderungen wie hohen Betriebskosten für KI-Coding-Agenten und langsamen Verarbeitungszeiten für Videomodelle.
Uberti schloss mit den Worten: „Mit Sohu können wir das Landschaftsbild verändern. Echtzeit-Video, Audio, Agenten und Suchfähigkeiten sind endlich erreichbar und verbessern radikal die wirtschaftliche Rentabilität von KI-Produkten.“
Kann Etched Nvidia überholen? Etcheds einzigartige Herangehensweise an parallele Verarbeitung positioniert das Unternehmen besonders im Markt.
Als auf die Frage geantwortet wurde, wie ein kleines Unternehmen Nvidia übertreffen könnte, erklärte COO Robert Wachen: „Historisch war der Markt für KI-Rechenleistung gespalten, mit zahlreichen Modellen, die aktiv verwendet wurden. Milliarden wurden in Transformer-Modelle investiert, was auf einen Wandel hin zur Spezialisierung hinweist. Obwohl unsere Chips in generalisierten Arbeitslasten nicht besser abschneiden werden als GPUs, werden sie die Transformer-Inferenz dominieren, die für generative KI-Produkte entscheidend ist.“
Diese Spezialisierung verschafft Etched einen Wettbewerbsvorteil, sodass ihre Chips in Bereichen, in denen andere nicht bestehen können, excelieren.
Rangliste
