OpenAI und Anthropic arbeiten zusammen, um KI-Modelle mit dem U.S. AI Safety Institute zu teilen, um die Sicherheit und Überwachung zu verbessern.

OpenAI und Anthropic haben eine bedeutende Vereinbarung getroffen, um ihre KI-Modelle—sowohl vor als auch nach ihrer öffentlichen Veröffentlichung—mit dem neu gegründeten US AI Safety Institute zu teilen. Diese Agentur, die 2023 durch einen Erlass von Präsident Biden ins Leben gerufen wurde, wird wertvolles Sicherheitsfeedback bereitstellen, um die Modelle der Unternehmen zu verbessern. CEO Sam Altman von OpenAI deutete bereits früher in diesem Monat auf diese Zusammenarbeit hin.

Das US AI Safety Institute hat zwar keine anderen Unternehmen im Bereich KI erwähnt, ein Sprecher von Google gab jedoch an, dass die Firma in Gesprächen mit der Agentur steht und zu gegebener Zeit weitere Informationen bereitstellen wird. Auffällig ist, dass Google begonnen hat, Updates für seine Chatbot- und Bildgenerierungsmodelle im Rahmen des Gemini-Programms einzuführen.

"Die Sicherheit ist essenziell für den Fortschritt bahnbrechender technologischer Innovationen. Mit diesen Vereinbarungen freuen wir uns auf technische Kooperationen mit Anthropic und OpenAI, um die Sicherheit von KI zu verbessern," sagte Elizabeth Kelly, Direktorin des US AI Safety Institute. "Diese Vereinbarungen sind nur der Anfang unserer Bemühungen, die Zukunft der KI verantwortungsvoll zu lenken."

Das US AI Safety Institute arbeitet innerhalb des National Institute of Standards and Technology (NIST) und ist verantwortlich für die Erstellung von Richtlinien, Benchmark-Tests und Best Practices zur Bewertung potenziell gefährlicher KI-Systeme. Vizepräsidentin Kamala Harris betonte Ende 2023 die doppelte Natur der Auswirkungen von KI, wobei sie sowohl das Potenzial für bedeutende Fortschritte als auch ernsthafte Risiken wie KI-gesteuerte Cyberangriffe und Biowaffen hervorhob.

Dieses wegweisende Abkommen wird durch ein nicht verbindliches Memorandum of Understanding formalisiert, das der Agentur den Zugriff auf die Hauptneuheiten beider Unternehmen sowohl vor als auch nach ihrer öffentlichen Einführung ermöglicht. Das US AI Safety Institute beschreibt diese Vereinbarungen als gemeinschaftliche Forschungsanstrengungen, die sich auf die Bewertung von Fähigkeiten und die Gewährleistung von Sicherheit konzentrieren. Zudem wird es mit dem UK AI Safety Institute zusammenarbeiten.

Während sowohl Bundes- als auch Landesregulierungsbehörden darauf abzielen, Sicherheitsmaßnahmen für KI zu etablieren, hat die kalifornische Versammlung kürzlich ein Gesetz zur KI-Sicherheit (SB 10147) verabschiedet. Diese Gesetzgebung verlangt Sicherheitstests für KI-Modelle, deren Entwicklung über 100 Millionen Dollar kostet oder erheblichen Rechenaufwand erfordert. Außerdem müssen KI-Entwickler Notabschaltungen implementieren, um Modelle, die "unhandlich oder unkontrollierbar" werden, abzuschalten.

Im Gegensatz zu der freiwilligen Vereinbarung mit der Bundesregierung enthält das kalifornische Gesetz durchsetzbare Bestimmungen, die es dem Staatsanwalt ermöglichen, rechtliche Schritte gegen nicht regelkonforme KI-Entwickler einzuleiten, insbesondere während kritischer Bedrohungsszenarien. Das Gesetz erwartet eine letzte Abstimmung und die Unterschrift von Gouverneur Gavin Newsom, der bis zum 30. September Zeit hat, um es zu genehmigen.