Justin Maier : Naviguer entre défis et opportunités dans l'IA open-source
Justin Maier, le fondateur de la plateforme d'IA open-source Civitai, a vécu une année tumultueuse à Boise, Idaho, affrontant des défis tant personnels que professionnels.
Créée il y a un an, Civitai soutient une communauté dédiée à la découverte, la création et le partage de modèles et de contenus générés par image grâce au générateur text-to-image populaire Stable Diffusion. En peu de temps, Civitai est passée d'une startup de quatre personnes avec moins de 100 000 utilisateurs à une équipe de 15 membres, ayant réussi à lever 5 millions de dollars de financement auprès d'Andreessen Horowitz. La plateforme attire désormais 10 millions de visiteurs uniques chaque mois, avec des millions d'images et de modèles téléchargés.
Cependant, Maier a dû faire face à des revers importants, y compris le diagnostic récent de diabète de type 1 de sa fille, qui s'est produit la même semaine que l'annonce du financement de Civitai. De plus, Civitai a été critiquée par 404 Media, qui affirme que la plateforme aurait facilité un « marché de la pornographie IA », profité de la pornographie IA non consensuelle et créé des récompenses pour des deepfakes de personnes réelles.
Dans une interview exclusive, Maier a soutenu que cette couverture déforme la base d'utilisateurs et l'utilisation prévue de Civitai. Il a décrit la situation comme « difficile et triste », soulignant que Civitai vise principalement des applications positives de la technologie IA motivées par la communauté.
Maier a déclaré que Civitai consacre des ressources substantielles à la modération du contenu, avec la moitié de son équipe engagée dans des efforts de sécurité. « Nous travaillons dur pour assurer la sécurité de la plateforme, mais la rapidité de l'innovation rend une adaptation quotidienne essentielle », a-t-il expliqué.
Civitai sert de plateforme pour les passionnés de modèles LoRA — des modèles affinés pour générer des œuvres d'art en IA. La plupart des utilisateurs exploitent Civitai pour des projets créatifs, allant de la fanfiction à la mode. « Lorsque nous avons lancé l'année dernière, nous avions 50 modèles. Maintenant, nous recevons un flux de 500 modèles par jour », a-t-il noté.
Bien que les allégations de 404 Media soient préoccupantes, Maier a précisé qu'elles reposent souvent sur des données obsolètes. Il a contesté l'affirmation selon laquelle 60 % du contenu serait inapproprié, affirmant que moins de 20 % du contenu actuel publié relève de cette catégorie. Civitai a également mis en place un centre de sécurité qui détaille ses politiques, y compris l'interdiction de toutes les représentations photoréalistes et sexuelles de mineurs, utilisant Amazon Rekognition pour la détection automatique du contenu.
D'un Projet Passion à une Plateforme
Civitai a commencé comme un projet passion après que l'intérêt de Maier pour la communauté Stable Diffusion ait été suscité par Midjourney. Il a imaginé un espace où les utilisateurs pouvaient facilement partager et explorer des modèles d'IA. Civitai a été officiellement lancé en novembre et a rapidement gagné du terrain, atteignant une base d'utilisateurs de 100 000 en janvier et un million en mars.
Civitai vise à abaisser les barrières à l'entrée de l'IA générative open-source, servant les amateurs désireux d'explorer cette technologie sans connaissances approfondies en apprentissage automatique. « Nous avons trouvé un équilibre entre des outils axés sur les consommateurs comme Midjourney et des solutions d'entreprise comme Hugging Face », a expliqué Maier.
Aborder les Préoccupations sur le Contenu Inapproprié
Reconnaissant que le contenu inapproprié est un problème courant, Maier a exprimé sa compréhension de la nécessité de se préparer aux éventuels abus dès le départ. Bien que la plateforme puisse limiter le contenu inapproprié, il a choisi une approche plus équilibrée pour favoriser le développement de la communauté, sachant que les améliorations technologiques découlent souvent de cas d'utilisation variés.
Maier a comparé cette approche à la parabole des mauvaises herbes du Nouveau Testament, suggérant que supprimer le contenu indésirable pourrait freiner l'innovation. « La communauté qui pousse ces limites contribue aux avancées qui bénéficient à la technologie IA dans son ensemble », a-t-il souligné.
Accusations de Récompenses et Signalement Communautaire
La couverture récente de 404 Media a également soulevé des préoccupations concernant des 'récompenses' pour deepfakes de personnes réelles. Maier a précisé que ces récompenses fonctionnent comme des demandes de services, où les utilisateurs peuvent rechercher des modèles d'IA adaptés à des besoins spécifiques. Ces annonces restent privées jusqu'à ce que le créateur choisisse de les rendre publiques, garantissant une modération conforme aux directives de contenu.
Les politiques de l'entreprise encouragent le signalement communautaire de contenu inapproprié, récompensant les utilisateurs avec une monnaie sur site, Buzz, pour leurs efforts visant à maintenir un environnement sûr. Cependant, étant donné la nature open-source de Civitai, une fois les modèles téléchargés, la plateforme ne peut pas contrôler leur utilisation ultérieure sur d'autres systèmes, soulignant une limitation de la régulation du contenu.
Engagement pour une Amélioration Continue
Malgré ces défis, Maier reste déterminé à affiner Civitai et à promouvoir une utilisation sûre de l'IA. À la lumière des développements récents, l'entreprise a introduit des mesures pour les individus souhaitant retirer leur image des contenus générés.
Alors que l'IA continue d'évoluer rapidement, Civitai collabore activement avec les régulateurs pour garantir la sécurité publique tout en encourageant l'innovation. Maier vise à exploiter la technologie pour le bien, y compris à travers une campagne de charité de vacances pour la Juvenile Diabetes Research Foundation, motivée par l'état de sa fille.
« Nous tenons profondément à maintenir une plateforme sécurisée », a-t-il affirmé, soulignant l'objectif de Civitai de rendre l'IA accessible tout en naviguant dans des défis constants. « Nous nous efforçons chaque jour d'assurer une expérience utilisateur positive et nous sommes engagés dans une amélioration continue. »
Classement
