Civitai-Gründer setzt sich für Open-Source-Lösungen ein und relativiert Bedenken hinsichtlich KI-Deepfake-Pornografie.

Justin Maier: Herausforderungen und Chancen in der Open-Source-KI

Justin Maier, der Gründer der Open-Source-KI-Plattform Civitai, hat im vergangenen Jahr, während er in Boise, Idaho, lebt, sowohl persönliche als auch berufliche Herausforderungen gemeistert. Civitai wurde vor nur einem Jahr gegründet und unterstützt eine Community, die sich dem Entdecken, Erstellen und Teilen von Modellen und bildgenerierten Inhalten mit dem beliebten Text-zu-Bild-Generator Stable Diffusion widmet. In dieser kurzen Zeit hat sich Civitai von einem vierköpfigen Startup mit weniger als 100.000 Nutzern zu einem Team von 15 Mitgliedern entwickelt, das 5 Millionen Dollar von Andreessen Horowitz gesammelt hat. Die Plattform zieht jetzt monatlich 10 Millionen einzigartige Besucher an, mit Millionen von hochgeladenen Bildern und Modellen.

Allerdings sah sich Maier signifikanten Rückschlägen gegenüber, darunter die kürzliche Diagnose seiner Tochter mit Typ-1-Diabetes in der gleichen Woche wie die Bekanntgabe der Civitai-Finanzierung. Zudem wurde Civitai kritischer Berichterstattung von 404 Media ausgesetzt, die behauptet, die Plattform habe einen „KI-Pornomarkt“ ermöglicht, von nicht einvernehmlicher KI-Pornografie profitiert und Deepfake-Belohnungen für echte Personen erstellt.

In einem exklusiven Interview stellte Maier klar, dass die Berichterstattung die Hauptnutzerbasis und den beabsichtigten Gebrauch von Civitai falsch darstellt. Er beschrieb die Situation als „herausfordernd und traurig“ und betonte, dass Civitai hauptsächlich auf gemeinschaftsorientierte, positive Anwendungen von KI-Technologie fokussiert ist. Maier erklärte, dass Civitai erhebliche Ressourcen in die Inhaltsmoderation investiert hat, wobei die Hälfte seines Teams mit Sicherheitsmaßnahmen beschäftigt ist. „Wir arbeiten hart daran, die Sicherheit zu gewährleisten, aber das rasante Tempo der Innovation erfordert tägliche Anpassungen,“ sagte er.

Civitai dient als Plattform für Enthusiasten von LoRA-Modellen—feinabgestimmten Modellen zur KI-Kunstgenerierung. Die meisten Nutzer nutzen Civitai für kreative Projekte, die von Fan-Fiction bis hin zu Mode reichen. „Als wir letztes Jahr starteten, hatten wir 50 Modelle. Jetzt sehen wir täglich einen Zustrom von 500 Modellen,“ bemerkte er.

Obwohl die Vorwürfe von 404 Media besorgniserregend sind, stellte Maier klar, dass sie oft auf veralteten Daten basieren. Er widersprach der Behauptung, dass 60% des Inhalts NSFW (nicht sicher für die Arbeit) seien, und versicherte, dass weniger als 20% des derzeit veröffentlichten Inhalts dieser Kategorie zuzuordnen sind. Civitai hat auch ein Sicherheitszentrum eingeführt, das seine Richtlinien umreißt, einschließlich eines Verbots aller fotorealistischen und sexuellen Darstellungen von Minderjährigen, und nutzt Amazon Rekognition zur automatischen Inhaltsüberprüfung.

Vom Leidenschaftsprojekt zur Plattform

Civitai entstand als Leidenschaftsprojekt, nachdem Maiers Bekanntschaft mit Midjourney sein Interesse an der Stable-Diffusion-Community geweckt hatte. Er stellte sich einen Raum vor, in dem Nutzer KI-Modelle einfach teilen und durchsuchen können. Civitai wurde offiziell im November gelauncht und gewann schnell an Fahrt, indem es bis Januar eine Nutzerbasis von 100.000 und bis März eine Million erreichte.

Civitai verfolgt das Ziel, die Einstiegshürden für Open-Source-generative KI zu senken und richtet sich an Hobbyisten, die die Technologie ohne umfangreiche Kenntnisse im maschinellen Lernen erkunden möchten. „Wir haben ein Gleichgewicht zwischen verbraucherorientierten Tools wie Midjourney und Unternehmenslösungen wie Hugging Face gefunden,“ erklärte Maier.

Anspruch auf NSFW-Inhalte

Maier erkannte, dass NSFW-Inhalte ein weit verbreitetes Problem darstellen. Er betonte die Notwendigkeit, von Anfang an auf potenziellen Missbrauch vorbereitet zu sein. Während die Plattform NSFW-Inhalte einschränken könnte, entschied er sich für einen ausgewogeneren Ansatz, um die Community-Entwicklung zu fördern, da Verbesserungen in der Technologie oft aus vielfältigen Anwendungsfällen resultieren. Er verglich diesen Ansatz mit dem Gleichnis von den Unkräutern im Neuen Testament und merkte an, dass das Unterdrücken unerwünschter Inhalte die Innovation bremsen könnte. „Die Community, die diese Grenzen verschiebt, trägt zu Fortschritten bei, die der KI-Technologie als Ganzes zugutekommen,“ betonte er.

Vorwürfe zu Belohnungen und Community-Reporting

Die jüngste Berichterstattung von 404 Media erweckte auch Bedenken bezüglich „Belohnungen“ für Deepfakes echter Personen. Maier stellte klar, dass diese Belohnungen als Serviceanfragen fungieren, bei denen Nutzer KI-Modelle suchen können, die auf spezifische Bedürfnisse zugeschnitten sind. Diese Einträge bleiben privat, bis der Ersteller sich entscheidet, sie öffentlich zu machen, wodurch die Moderation sichergestellt wird, um den Inhaltsrichtlinien zu entsprechen.

Die Unternehmensrichtlinien fördern das Community-Reporting unangemessener Inhalte und belohnen Nutzer mit interner Währung, Buzz, für ihre Bemühungen, eine sichere Umgebung aufrechtzuerhalten. Allerdings kann Civitai die anschließende Nutzung von Modellen auf anderen Systemen nicht kontrollieren, was eine Einschränkung der Inhaltsregulierung verdeutlicht.

Engagement für kontinuierliche Verbesserung

Trotz der Herausforderungen bleibt Maier bestrebt, Civitai zu verfeinern und den sicheren Einsatz von KI zu fördern. Angesichts der jüngsten Entwicklungen hat das Unternehmen Maßnahmen eingeführt, damit Personen ihr Abbild aus generierten Inhalten entfernen können.

Da sich die KI rasant weiterentwickelt, arbeitet Civitai aktiv mit Regulierungsbehörden zusammen, um die öffentliche Sicherheit zu gewährleisten und gleichzeitig Innovationen zu fördern. Maier möchte die Technologie für positive Zwecke nutzen, einschließlich einer Wohltätigkeitsaktion zu Weihnachten für die Juvenile Diabetes Research Foundation, motiviert durch den Zustand seiner Tochter. „Wir legen großen Wert darauf, eine sichere Plattform zu erhalten,“ betonte er und unterstrich das Ziel von Civitai, KI zugänglich zu machen, während das Unternehmen weiterhin Herausforderungen meistert. „Wir bemühen uns täglich, ein positives Nutzererlebnis zu gewährleisten und sind engagiert in der kontinuierlichen Verbesserung.“