Google suspend la fonctionnalité de génération de profils de Gemini suite à de nombreuses inexactitudes "woke".

Suite à une controverse cette semaine au sujet du nouveau chatbot IA de Google, Gemini, qui a généré des images historiquement inexactes—comme des Pères fondateurs des États-Unis dépeints comme Noirs et des fondateurs de Google comme Asiatiques—l'entreprise a annoncé la suspension temporaire de la capacité de l'IA à créer des images de personnes.

Google a déclaré qu'il prenait en compte les préoccupations des utilisateurs et prévoit de rétablir cette fonctionnalité à l'avenir.

Des captures d'écran partagées par des dirigeants technologiques, écrivains et utilisateurs de Gemini montrent que l'IA crée souvent des images de personnes issues de divers horizons, indépendamment de l'exactitude historique. Parmi les exemples, on note la génération de papes catholiques noirs (alors qu'il n'y en a jamais eu), la représentation de Vikings à la peau foncée (ce qui était rare) et des soldats nazis allemands en tant qu'Asiatiques (la majorité ne l'étaient pas).

Bien que les modèles d'IA générant des images visent à éliminer les biais et à promouvoir la diversité, les productions par défaut de Gemini ont suscité un débat sur l'approche de Google en matière de représentation, entraînant moquerie et critiques.

En réponse à cette réaction, Jack Krawczyk, directeur senior de produit chez Google, a confirmé le problème et noté que l’entreprise travaille à l’affinement du modèle afin de mieux respecter le contexte historique, tout en maintenant un engagement envers la diversité dans des prompts plus larges, comme représenter une personne promenant un chien. « Dans le cadre de nos principes en matière d'IA, nous concevons nos capacités de génération d'images pour refléter notre base d'utilisateurs mondiale, et nous prenons la représentation et les biais au sérieux », a déclaré Krawczyk.

La situation a suscité des critiques significatives de la part des utilisateurs et de personnalités influentes, tels que les capital-risqueurs Marc Andreessen et Paul Graham, lançant une discussion plus large sur la fiabilité des chatbots IA comme Gemini en matière d'équilibre entre diversité et exactitude factuelle. Cette controverse a même attiré l'attention des médias, faisant la une du New York Post.

Alors que Google s'efforce de trouver une solution, il convient de noter que ce n'est pas la première fois que Gemini fait face à des interrogations. Depuis le lancement de la famille de modèles Gemini en décembre 2023, présentée comme comparable, et parfois supérieure, au GPT-4 d'OpenAI, Google a rencontré des difficultés continues.

Le lancement initial a été critiqué pour une vidéo mise en scène qui exagérait les capacités de Gemini en tant qu'assistant numérique. De plus, une revue par des chercheurs indépendants a révélé que Gemini était en deçà des performances de l'ancien modèle d'OpenAI, le GPT-3.5.

Ce mois-ci, Google a rebrandé son chatbot Bard en Gemini et a introduit des versions avancées pour les abonnés, tout en promouvant une version améliorée de Duet AI sous le nom de Gemini pour Workspace. Malgré des promesses de fonctionnalités améliorées avec Gemini 1.5 et Advanced—particulièrement en analyse vidéo et en parsing de documents—ces atouts pourraient être éclipsés par les controverses persistantes.

Krawczyk a souligné que signaler des problèmes comme la génération d'images inexactes est essentiel pour l'amélioration. Toutefois, si les problèmes persistent, cela pourrait nuire aux efforts de Google pour positionner Gemini en tête dans le domaine compétitif de l'IA générative.