Hat das Superalignment-Team von OpenAI nach zwei großen Abgängen Schwierigkeiten zu überleben?

Ilya Sutskever, ehemaliger Chief Scientist und Mitbegründer von OpenAI, war nicht der einzige namhafte Abgang aus dem Unternehmen gestern. Bald folgte ihm Jan Leike, Mitleiter des "Superalignment"-Teams von OpenAI, der seinen Rücktritt auf X mit den Worten „Ich habe gekündigt“ bekannt gab.

Leike trat Anfang 2021 in OpenAI ein und zeigte große Begeisterung für die Arbeit des Unternehmens im Bereich der Belohnungsmodellierung, insbesondere zur Anpassung von GPT-3 an menschliche Präferenzen. Im Dezember 2022 äußerte er auf seinem Substack-Konto „Aligned“ seinen Optimismus bezüglich der Anpassungsstrategien bei OpenAI. Vor seiner Zeit bei OpenAI brachte Leike seine Expertise im AI-Labor von Google DeepMind ein.

Der Rücktritt dieser beiden Führungskräfte löste auf X Diskussionen über die Auswirkungen auf OpenAIs Ambitionen aus, fortschrittliche KI-Systeme zu kontrollieren, einschließlich des übergeordneten Ziels, künstliche allgemeine Intelligenz (AGI) zu erreichen – definiert als KI, die die menschliche Leistung in wirtschaftlich wertvollen Aufgaben übertrifft.

Was ist Superalignment?

Große Sprachmodelle (LLMs) wie OpenAIs GPT-4o sowie Wettbewerber wie Googles Gemini und Metas Llama operieren auf komplexe Weise. Um sicherzustellen, dass diese Modelle zuverlässig arbeiten und keine schädlichen oder unsinnigen Antworten generieren, müssen Entwickler sie auf gewünschte Verhaltensweisen "ausrichten". Dies geschieht durch maschinelles Lernen, einschließlich Verstärkungslernen und proximaler politikoptimierung (PPO).

Superalignment stellt einen verstärkten Versuch dar, zukünftige KI-Modelle – Superintelligenzen – über die derzeit verfügbaren Möglichkeiten hinaus auszurichten. OpenAI kündigte im Juli 2023 die Gründung des Superalignment-Teams an und betonte die Dringlichkeit, die Risiken der KI-Entwicklung und -Governance zu bewältigen.

Die Herausforderung besteht darin, wie sicherzustellen ist, dass superintelligente KI-Systeme den menschlichen Absichten entsprechen. Aktuelle Ausrichtungstechniken, die auf menschlicher Überwachung basieren, könnten möglicherweise nicht effektiv auf Systeme skalieren, die die menschliche Intelligenz übertreffen. OpenAI erkannte dieses Problem und verpflichtete sich, 20 % seiner Rechenressourcen dem Superalignment-Projekt zu widmen, indem wertvolle GPUs von Nvidia und anderer Hardware genutzt werden.

Wie geht es weiter mit Superalignment?

Mit dem Abgang von Sutskever und Leike stellen sich entscheidende Fragen zur Zukunft der Superalignment-Initiative. Wird OpenAI weiterhin die versprochenen 20 % seiner Rechenleistung für dieses Projekt bereitstellen oder in eine andere Richtung einschwenken? Beobachter stellen fest, dass Sutskever als "Doomer" wahrgenommen wurde, insbesondere in Bezug auf die existenziellen Risiken durch KI, im Gegensatz zu CEO Sam Altman und anderen bei OpenAI, die weniger auf diese Bedrohungen fokussiert sind.

Wir haben OpenAI kontaktiert, um Klarheit über die Zukunft des Superalignment-Teams zu erhalten, und werden aktualisierte Informationen bereitstellen, sobald wir eine Antwort erhalten.