En février 2023, une équipe de chercheurs de l'Université de Chicago, dirigée par le professeur d'informatique Ben Zhao, a lancé Glaze—un outil logiciel gratuit utilisant l'apprentissage automatique pour modifier subtilement les pixels des œuvres d'art téléchargées par les utilisateurs. Cette modification altere la perception du style d'une œuvre par des générateurs d'art IA, sans en affecter l'apparence pour les spectateurs humains. Par exemple, une illustration dessinée à la main pourrait être perçue par une IA comme une œuvre aquarelle ou CGI.
L'objectif principal de Glaze est d'aider les artistes à lutter contre les modèles IA qui imitent leurs styles artistiques tout en préservant l'intégrité de leurs créations. Selon le document de recherche rédigé par Shawn Shan, Jenna Cryan, Emily Wenger, Haitao Zheng, Rana Hanocka et Ben Y. Zhao, cet outil vise à protéger les artistes de la perte de commissions et des atteintes à leur réputation, en soulignant que leur style est essentiel à leur identité. L'utilisation non autorisée de ces styles uniques est assimilée à du vol d'identité.
Les artistes peuvent créer une image, appliquer Glaze, puis télécharger la version modifiée en ligne, empêchant ainsi les modèles IA de s'entraîner facilement sur leur travail. L'œuvre traitée avec Glaze reste similaire à l'original pour les humains, mais fondamentalement différente pour une IA. Bien que Glaze soit efficace, il est particulièrement bénéfique pour les œuvres qui n'ont pas encore été récupérées par des IA.
En mars 2024, Glaze avait accumulé plus de 2,3 millions de téléchargements, ainsi qu'une attention croissante pour l'outil open-source de suivi, Nightshade, qui vise à "empoisonner" les modèles IA entraînés sur les créations d'artistes sans consentement.
Un an plus tard, l'équipe du projet Glaze a annoncé Glaze 2, conçu pour une utilisation plus rapide et une protection renforcée contre les modèles IA avancés, y compris Stable Diffusion XL, un générateur d'images texte-à-image open-source pouvant être ajusté pour imiter des artistes spécifiques.
Améliorations dans Glaze 2
L'outil Glaze original prenait en moyenne 1,2 minutes sur un GPU Titan RTX et 7,3 minutes sur un CPU Intel i7 pour traiter une unique œuvre. Bien que très efficace—avec plus de 92 % de réussite pour prévenir l'imitation des styles—Glaze 2 offre des améliorations significatives de vitesse, réduisant les temps de traitement de 50 % à 500 % en fonction du matériel de l'utilisateur. Par exemple, certains GPU plus anciens sont passés de 4 minutes à 2 minutes par image, tandis que les utilisateurs Mac avec processeurs M1-M3 peuvent bénéficier d'augmentations allant jusqu'à 5 fois.
Glaze 2 offre également une protection renforcée contre des modèles comme SDXL, notamment pour les styles artistiques à surface lisse comme l'anime et les dessins animés. Zhao a noté dans un récent courriel que Glaze 2 génère des artefacts plus perturbateurs, rendant plus difficile la réplication des œuvres protégées par l'IA.
Interrogé sur les protections contre l'imitation des styles provenant d'autres générateurs IA comme DALL-E 3 ou Midjourney d'OpenAI, Zhao a souligné que l'accent principal de Glaze est sur Stable Diffusion, car c'est le modèle prédominant sous le contrôle des utilisateurs pour imiter les styles d'artistes.
Développements futurs
Le projet Glaze de l'Université de Chicago investit pleinement dans la nouvelle version, Zhao confirmant que Glaze 1 ne sera plus disponible au téléchargement. "Glaze 2 est un remplacement direct qui devrait surpasser Glaze 1 dans tous les aspects", a-t-il déclaré.
De plus, l'équipe envisage d'étendre la protection similaire à Glaze aux formats vidéo, comme annoncé sur leur compte X. Ils mènent des études utilisateurs pour évaluer dans quelle mesure l'IA peut reproduire des images vidéo et l'efficacité de la nouvelle version de Glaze pour perturber cette imitation.
Si Glaze 2 fonctionne aussi bien que ses prédécesseurs, il est prêt à devenir un atout précieux pour les artistes cherchant à protéger leurs œuvres contre le scraping non autorisé par l'IA.
Classement
