Bei kürzlichen Tests zeigte ein neu veröffentlichtes großes Sprachmodell (LLM) ein Bewusstsein für seinen Bewertungsprozess, was auf mögliche Metakognition—ein Verständnis seiner eigenen Denkprozesse—hinweist. Dies löste Diskussionen über das Selbstbewusstsein von KI aus. Doch die wichtigste Erkenntnis bleibt die beeindruckende Leistungsfähigkeit des Modells, ein Spiegelbild der Fortschritte, die in zunehmend größeren LLMs zu beobachten sind.
Mit dem Wachstum der LLMs nehmen sowohl ihre emergenten Fähigkeiten als auch die Entwicklungskosten zu. Die Trainingskosten führender Modelle erreichen inzwischen etwa 200 Millionen Dollar, was Bedenken hinsichtlich der zukünftigen Zugänglichkeit der Branche aufwirft. Ähnlich wie in der Halbleiterindustrie, wo nur wenige Unternehmen in der Lage sind, hochmoderne Chipfabriken zu betreiben, könnte der KI-Bereich bald von großen Technologieunternehmen dominiert werden, die über die Ressourcen verfügen, um führende Basis-Modelle wie GPT-4 und Claude 3 zu entwickeln.
Der rasante Anstieg der Trainingskosten und Fähigkeiten, insbesondere bei Modellen, die menschliche Leistungsfähigkeit erreichen oder übertreffen, stellt eine erhebliche Herausforderung dar. Anthropic, ein bedeutender Akteur auf diesem Gebiet, berichtet, dass das Training seines Flaggschiffmodells Claude 3 etwa 100 Millionen Dollar kostet. Zukünftige Modelle, die für 2024 oder Anfang 2025 erwartet werden, könnten sogar in die Milliarden-Dollar-Klasse vordringen.
Um diese steigenden Kosten zu verstehen, ist es notwendig, die zunehmende Komplexität der LLMs zu betrachten. Jede neue Generation weist mehr Parameter für ein tiefgreifenderes Verständnis auf, was größere Daten- und Rechenressourcen erfordert. Bis 2025 oder 2026 könnten die Trainingskosten zwischen 5 und 10 Milliarden Dollar liegen, was die Entwicklung auf eine Handvoll großer Unternehmen und deren Partner beschränkt.
Der Verlauf der KI-Industrie spiegelt den der Halbleiterbranche wider, die einen Wandel von der Eigenproduktion von Chips zur Auslagerung der Fertigung vollzog, als die Kosten explodierten. Heute können nur drei Unternehmen—TSMC, Intel und Samsung—fortschrittliche Fertigungsanlagen bauen, wobei TSMC schätzt, dass eine neue hochmoderne Halbleiterfabrik etwa 20 Milliarden Dollar kosten könnte.
Nicht jede KI-Anwendung erfordert hochentwickelte LLMs, doch die Auswirkungen der steigenden Kosten variieren. In der Computertechnik verwendet die zentrale Verarbeitungseinheit (CPU) oft hochmoderne Halbleiter, arbeitet jedoch auch mit langsameren Chips, die nicht die neueste Technologie benötigen. Ähnlich können kleinere LLM-Alternativen wie Mistral und Llama3, die Milliarden von Parametern nutzen, effektive Lösungen zu niedrigeren Kosten bieten. Microsofts Phi-3, ein kleines Sprachmodell (SLM) mit 3,8 Milliarden Parametern, zeigt diesen Ansatz und senkt die Kosten durch die Verwendung eines kleineren Datensatzes im Vergleich zu größeren Modellen.
Diese kleineren Modelle sind ideal für spezifische Aufgaben, die kein umfassendes Wissen in verschiedenen Bereichen erfordern. Sie können auf unternehmensspezifische Daten oder Branchenbedürfnisse zugeschnitten werden und präzise Antworten oder detaillierte Forschungsergebnisse liefern. Wie der Senior AI-Analyst Rowan Curran von Forrester Research treffend bemerkte: „Man braucht nicht immer einen Sportwagen. Manchmal braucht man einen Minivan oder einen Pickup.“
Allerdings riskieren die steigenden Kosten in der KI-Entwicklung, eine Landschaft zu schaffen, die von einigen wenigen großen Akteuren dominiert wird—ähnlich wie bei hochentwickelten Halbleitern. Diese Konsolidierung könnte Innovation und Vielfalt ersticken und die Beiträge von Start-ups und kleineren Unternehmen einschränken. Um diesem Trend entgegenzuwirken, ist es wichtig, die Entwicklung spezialisierter Sprachmodelle zu fördern, die für Nischenanwendungen unerlässlich sind, sowie Open-Source-Projekte und kollaborative Bemühungen zu unterstützen. Ein integrativer Ansatz wird sicherstellen, dass KI-Technologien für ein breiteres Spektrum von Gemeinschaften zugänglich und vorteilhaft sind, was gerechte Innovationsmöglichkeiten fördert.
Rangliste
