L'art génératif par IA est rapidement devenu l'une des applications les plus fascinantes et populaires des nouvelles technologies, attirant des millions d'utilisateurs sur des plateformes comme Stable Diffusion et Midjourney. OpenAI a récemment intégré son modèle de génération d'images DALL-E 3 dans le service ChatGPT, facilitant ainsi la création d'images. En entrant simplement une description, les utilisateurs peuvent voir les algorithmes d'IA transformer leurs idées en œuvres d'art visuel en quelques instants. Cependant, dans notre monde rapide, attendre quelques secondes pour la génération d'images peut sembler long.
Cette semaine, la communauté en ligne de l'art par IA s'empresse de discuter d'une technique révolutionnaire d'apprentissage automatique connue sous le nom de LCM-LoRA, ou Modèle de Cohérence Latente - Adaptation de Rang Faible. Développée par des chercheurs de l'Université Tsinghua et la plateforme de partage de code d'IA HuggingFace, cette technique permet la création d'art génératif par IA en temps réel. Que signifie cela en termes pratiques ? Regardez les vidéos partagées par des artistes IA sur X et LinkedIn pour le voir en action.
Avec LCM-LoRA, les utilisateurs peuvent maintenant esquisser des formes simples ou des dessins de bâtons accompagnés de texte descriptif, et des applications de création artistique telles que Krea.AI et Fal.AI génèrent instantanément de nouvelles œuvres d'art. Les images peuvent être altérées presque immédiatement à mesure que les utilisateurs manipulent leurs formes et dessins sur la toile numérique. Vous pouvez l'essayer vous-même sur Fal.AI (si le site reste stable en cas d'augmentation du trafic).
La technique LCM-LoRA fonctionne pour les images 2D ainsi que pour les éléments 3D, permettant aux artistes de créer rapidement des environnements immersifs pour des applications en réalité augmentée (AR), réalité virtuelle (VR), jeux vidéo et potentiellement production cinématographique, ce qui accélère considérablement le processus créatif et réduit les coûts. « Tout va changer », a déclaré un fondateur de startup et ancien ingénieur en IA chez Google sur LinkedIn, un sentiment partagé par nombreux membres de la communauté des arts IA. Un autre utilisateur sur X a ajouté : « Une toute nouvelle ère de l'IA générative est sur le point d'être libérée. » Le professeur Ethan Mollick de la Wharton School of Business a exprimé que « nous allons bientôt voir beaucoup de nouvelles expériences utilisateur » grâce à cette technique.
Qu'est-ce que LCM-LoRA et comment cela fonctionne-t-il ? Les premières démonstrations de l'intégration de LCM-LoRA dans des applications sont en effet convaincantes, indiquant un tournant potentiel pour l'IA générative dans les arts visuels. Alors, quelle est l'innovation technologique derrière LCM-LoRA ? Selon les chercheurs, LCM-LoRA est un « module d'accélération universel sans entraînement » pouvant être intégré dans divers modèles ajustés de Stable Diffusion.
En termes simples, il s'agit d'un algorithme qui accélère le processus de conversion de textes ou d'images en nouvelles œuvres d'art générées par IA en utilisant le modèle open-source Stable Diffusion populaire et ses versions modifiées. LCM-LoRA y parvient en réduisant le nombre d'« étapes d'échantillonnage » nécessaires au modèle d'IA pour transformer un texte ou une image source en une image de meilleure qualité. Cela permet aux modèles de Stable Diffusion de fonctionner plus rapidement avec moins de ressources informatiques, entraînant ainsi des résultats visuels en temps réel.
La nature « universelle » de LCM-LoRA signifie qu'elle est compatible avec différentes applications reposant sur Stable Diffusion. Reste à savoir si elle pourra être adaptée à des modèles propriétaires comme DALL-E 3 d'OpenAI ou Midjourney. Nous avons contacté l'un des auteurs de l'article sur LCM-LoRA pour obtenir des informations supplémentaires et nous mettrons à jour cet article dès que de nouvelles informations seront disponibles.
Classement
