La naïveté des grands modèles de langage en cybersécurité
Malgré leur complexité, les grands modèles de langage (LLMs) montrent souvent une surprenante naïveté en matière de cybersécurité. Grâce à une série astucieuse de requêtes, ils peuvent révéler par inadvertance des informations sensibles, générer du code malveillant ou produire des résultats biaisés, soulevant de graves préoccupations éthiques. Elad Schulman, cofondateur et PDG de Lasso Security, souligne ce danger : « Aussi puissants soient-ils, les LLMs ne doivent pas être utilisés sans un minimum de critique. Leurs capacités avancées les rendent vulnérables à de nombreuses failles de sécurité. » Lasso Security, qui a récemment lancé une levée de fonds de 6 millions de dollars avec Entrée Capital et Samsung Next, vise à relever ces défis. « La révolution des LLM pourrait surpasser les révolutions combinées du cloud et d'Internet. Un avancement significatif entraîne des risques considérables. »
Préoccupations de sécurité : Jailbreaking, fuites de données et empoisonnement
Les LLMs sont rapidement devenus essentiels pour les entreprises à la recherche d'un avantage concurrentiel. Cependant, leur nature conversationnelle et non structurée en fait des cibles faciles à exploiter. En manipulant les requêtes grâce à des techniques comme l'injection de prompts ou le jailbreaking, ces modèles peuvent révéler leurs données d'entraînement et des informations sensibles sur l'organisation.
Les risques ne se limitent pas aux attaques délibérées. Les abus de la part des employés, comme l’a illustré la décision de Samsung d’interdire les outils d’IA générative après des fuites de données, soulignent le potentiel d'expositions accidentelles des données. Schulman note : « Étant donné que le contenu généré par les LLM peut être influencé par les entrées, les utilisateurs peuvent accéder de manière non intentionnelle à des fonctionnalités supplémentaires du modèle. »
L'empoisonnement des données constitue un autre problème majeur ; des données d'entraînement altérées peuvent introduire des biais compromettant la sécurité et les normes éthiques. De plus, une validation insuffisante des sorties des LLM peut entraîner des vulnérabilités critiques. Selon l'OWASP, des sorties non surveillées peuvent exposer les systèmes à de graves menaces comme les scripts intersites (XSS), la falsification de requêtes intersites (CSRF) et l'exécution de code à distance.
L'OWASP met également en avant d'autres préoccupations, telles que les attaques par déni de service sur les modèles, où des attaquants surchargent les LLMs de requêtes, provoquant des interruptions de service, ainsi que des vulnérabilités issues de composants tiers dans la chaîne d'approvisionnement logicielle.
Prudence face à une dépendance excessive
Les experts soulignent les dangers de compter uniquement sur les LLMs pour l'information, ce qui peut entraîner de la désinformation et des violations de sécurité. Par exemple, lors d'un processus appelé « hallucination de paquet », un développeur pourrait demander à un LLM de suggérer un paquet de code spécifique, recevant potentiellement une recommandation fictive. Des acteurs malveillants peuvent alors créer un code nuisible pour exploiter cette hallucination, leur donnant accès aux systèmes de l'entreprise.
« Cet abus exploite la confiance que les développeurs accordent aux recommandations pilotées par l'IA », avertit Schulman.
Surveillance des interactions LLM pour la sécurité
La technologie de Lasso intercepte les interactions entre les employés et les LLMs comme Bard et ChatGPT, ainsi que les intégrations avec des outils tels que Grammarly et les plugins IDE. En établissant une couche d'observabilité, Lasso capture et analyse les données envoyées vers et depuis les LLMs, utilisant des techniques avancées de détection des menaces pour identifier les anomalies.
Schulman conseille aux organisations d'identifier d'abord les outils LLM utilisés, puis d'analyser leurs applications et objectifs. « Ces actions susciteront des discussions critiques sur les protections nécessaires », déclare-t-il.
Fonctionnalités clés de Lasso Security
- Découverte de l'IA fantôme : Identifier les outils actifs, les utilisateurs et les insights.
- Suivi des flux de données LLM : Suivre et enregistrer toutes les transmissions de données au sein de l'organisation.
- Détection et alerte en temps réel : Informations immédiates sur les menaces potentielles.
- Blocage et protection : Veiller à ce que toutes les requêtes et sorties générées soient conformes aux politiques de sécurité.
- Tableau de bord convivial : Simplifier la surveillance et la gestion des interactions avec les LLM.
Exploiter la technologie en toute sécurité
Lasso se distingue en offrant une suite complète axée spécifiquement sur la sécurité des LLM plutôt qu'une seule fonctionnalité. Schulman note : « Les équipes de sécurité prennent le contrôle de chaque interaction LLM, leur permettant de créer et d'appliquer des politiques sur mesure. »
Les organisations doivent adopter les technologies LLM de manière sécurisée, car des interdictions totales ne sont pas viables. « Sans une stratégie dédiée de gestion des risques, les entreprises qui ne se adaptées pas à l'IA générative seront désavantagées », explique Schulman. En fin de compte, Lasso vise à fournir les outils de sécurité nécessaires aux organisations pour tirer parti de la technologie de pointe sans compromettre leur posture de sécurité.
Classement
