Google révèle les secrets de GPT-3.5 d'OpenAI : des allégations de fuite d'informations essentielles !

Récemment, la recherche de Google a suscité un grand intérêt au sein de la communauté technologique. L'équipe de recherche affirme avoir réussi à extraire des paramètres clés des modèles de langage développés par OpenAI grâce à de simples appels API, pour un coût d'environ 150 RMB (environ 22 USD).

L'étude s'est concentrée sur les modèles de la série GPT d'OpenAI. En utilisant des requêtes API précises, l'équipe de Google a réussi à rassembler des données critiques à partir de la couche de projection d'embeddings du modèle. Cette couche finale joue un rôle essentiel en mappant les dimensions cachées sur des vecteurs logits, fondamentaux pour les résultats du modèle.

Les chercheurs ont indiqué qu'en envoyant des requêtes spécifiques et en analysant les réponses du modèle, ils pouvaient déduire la taille des dimensions cachées. Cette technique est applicable non seulement aux modèles de base, tels qu'Ada et Babbage, mais aussi aux itérations avancées comme GPT-3.5 et GPT-4.

Il est important de noter que Google a réalisé cette recherche avec l'autorisation d'OpenAI et a confirmé la validité de ses méthodes après achèvement, garantissant la suppression de toutes les données liées à l'étude. Bien qu'ils aient obtenu certains paramètres clés du modèle par des appels API, cette découverte a choqué l'industrie, mettant en évidence des vulnérabilités potentielles même dans des modèles protégés par des mesures de sécurité strictes.

En réponse, OpenAI a mis en œuvre des stratégies de défense, notamment des ajustements à leur API de modèle et aux dimensions cachées. Néanmoins, cet incident a relancé les discussions concernant la sécurité et l'ouverture des modèles de langage de grande taille.

Les conclusions de Google non seulement révèlent des faiblesses potentielles en matière de sécurité des LLM, mais ouvrent également la voie à de futures recherches sur la sécurité. À mesure que la technologie de l'IA continue d'évoluer, garantir la sécurité et la confidentialité des modèles reste un défi crucial pour l'industrie.

Cet incident rappelle à OpenAI l'importance deprioriser la sécurité des modèles et d'adopter des mesures de protection plus strictes. La collaboration avec des partenaires du secteur sera également essentielle pour favoriser le développement sain des technologies de l'IA.

En résumé, la recherche de Google a fourni une nouvelle perspective sur les enjeux de sécurité entourant les modèles de langage de grande taille. Nous sommes impatients de voir d'autres recherches et innovations qui contribueront à l'avancement continu de la technologie de l'intelligence artificielle.