Des milliers d'entreprises s'appuient sur le cadre Ray pour développer et gérer des charges de travail d'IA complexes et intensives en calcul. Il est d'ailleurs difficile de trouver un modèle linguistique de grande taille (LLM) qui n'ait pas été développé avec Ray. Cependant, ces charges de travail contiennent souvent des données sensibles, identifiées par les chercheurs comme vulnérables en raison d'une faille de sécurité critique (CVE) au sein du cadre de calcul unifié open-source.
Depuis sept mois, cette faille permet aux attaquants d'exploiter les charges de travail en production d'IA, leur donnant accès à des ressources de calcul, des identifiants, des mots de passe, des clés, des jetons et une multitude d'autres informations sensibles, selon des recherches menées par Oligo Security. Cette vulnérabilité, surnommée "ShadowRay", demeure contestée. Classée comme une « vulnérabilité fantôme », elle n'est pas reconnue comme une menace et ne dispose pas de correctif officiel, ce qui l'exclut des processus de scan standard.
Cette situation marque “la première instance connue d'exploitation active des charges de travail d’IA via des vulnérabilités de l'infrastructure d'IA contemporaine”, selon les chercheurs Avi Lumelsky, Guy Kaplan et Gal Elbaz. Ils déclarent : “Lorsque les attaquants accèdent à un cluster de production Ray, c’est un jackpot. Des données précieuses de l'entreprise combinées à l'exécution de code à distance créent des opportunités de monétisation, tout en restant indétectés.”
Un Angle Mort Significatif
De nombreuses organisations s'appuient sur Ray pour des charges de travail d’IA à grande échelle, de données et de SaaS, y compris Amazon, Instacart, Shopify, LinkedIn et OpenAI, dont le modèle GPT-3 a été formé à l'aide de Ray. Ce cadre est essentiel pour les modèles dotés de milliards de paramètres nécessitant une puissance de calcul substantielle, ne pouvant pas être exécutés sur une seule machine. Ray, maintenu par Anyscale, supporte les charges de travail distribuées pour la formation, le service et l'ajustement de divers modèles d'IA. Les utilisateurs n'ont pas besoin de connaissances approfondies en Python, et le processus d'installation est simple avec des dépendances minimales. Les chercheurs d'Oligo qualifient Ray de « couteau suisse pour Pythonistes et praticiens de l'IA. »
Malgré ses avantages, la vulnérabilité ShadowRay rend cette dépendance à Ray d'autant plus préoccupante. Connue sous le nom de CVE-2023-48022, cette vulnérabilité provient d'une autorisation insuffisante dans l'API Jobs de Ray, l'exposant à des attaques d'exécution de code à distance. Quiconque ayant accès au tableau de bord peut exécuter des tâches arbitraires sans autorisation. Bien que cette vulnérabilité ait été signalée à Anyscale avec quatre autres à la fin de 2023, celle non résolue est CVE-2023-48022. Anyscale a contesté cette vulnérabilité, affirmant qu'elle représente un comportement attendu et une fonctionnalité du produit facilitant le déclenchement de tâches et l'exécution dynamique de code dans un cluster.
Anyscale soutient que les tableaux de bord ne devraient pas être accessibles au public ou devraient être restreints à des utilisateurs de confiance, affirmant ainsi que Ray manque d'autorisation car il suppose un fonctionnement dans un environnement sécurisé avec une « logique de routage appropriée » via l'isolement du réseau, les espaces de noms Kubernetes, les règles de pare-feu ou les groupes de sécurité. Cette décision illustre “la complexité d'équilibrer sécurité et convivialité dans le développement de logiciels”,notent les chercheurs d'Oligo, soulignant la nécessité d'une réflexion approfondie lors de la modification de systèmes critiques comme Ray.
De plus, parce que les vulnérabilités contestées échappent souvent à la détection, de nombreux scanners de sécurité les négligent. Les chercheurs d'Oligo ont découvert que ShadowRay n'apparaissait pas dans plusieurs bases de données, y compris la Base de Données des Vulnérabilités Open Source de Google (OSV), et n’était pas visible pour les solutions d'analyse de sécurité des applications statiques (SAST) et d'analyse de composition logicielle (SCA). « Cela a créé un angle mort : les équipes de sécurité n'étaient pas conscientes des risques potentiels », ont souligné les chercheurs, notant que « les experts en IA ne sont pas des experts en sécurité, les rendant vulnérables aux risques posés par les cadres d'IA. »
Des Charges de Travail en Production aux Jetons Critiques
Les chercheurs ont révélé que des serveurs compromis avaient divulgué un « trésor » d'informations sensibles, notamment :
- Perturbation des charges de travail en production d'IA, entraînant un compromis de l'intégrité ou de la précision des modèles pendant la formation.
- Accès à des environnements cloud sensibles (AWS, GCP, Azure) susceptibles d'exposer des bases de données clients et des données sensibles de production.
- Accès à l'API Kubernetes, permettant des infections de charges de travail cloud ou l'extraction de secrets Kubernetes.
- Identifiants sensibles pour des plateformes comme OpenAI, Stripe et Slack.
- Identifiants de base de données permettant le téléchargement ou la modification silencieux de bases de données complètes.
- Clés SSH privées pour accéder à d’autres machines à des fins malveillantes.
- Jetons OpenAI, pouvant vider les crédits du compte.
- Jetons Hugging Face, donnant accès à des dépôts privés, facilitant les attaques de la chaîne d'approvisionnement.
- Jetons Stripe qui pourraient être exploités pour épuiser des comptes de paiement.
- Jetons Slack, pouvant être utilisés pour des messages non autorisés ou pour la lecture.
Les chercheurs rapportent que de nombreux GPU compromis sont actuellement rares et coûteux. Ils ont identifié « des centaines » de clusters compromis, principalement utilisés dans le minage de cryptomonnaies. « Les attaquants ciblent ces systèmes non seulement pour des informations précieuses, mais aussi parce que les GPU sont coûteux et difficiles à se procurer, surtout aujourd'hui », notent-ils, soulignant que certains prix à la demande des GPU sur AWS atteignent un coût annuel de 858,480 dollars. Avec autant de temps pour exploiter ce matériel, les estimations suggèrent que les machines compromises et la puissance de calcul pourraient être évaluées à un milliard de dollars.
Addressant les Vulnérabilités Fantômes
Les chercheurs d'Oligo reconnaissent que « les vulnérabilités fantômes existeront toujours » et que les indicateurs d'exploitation peuvent varier. Ils recommandent plusieurs actions pour les organisations :
- Exploiter Ray dans un environnement sécurisé et de confiance.
- Mettre en œuvre des règles de pare-feu et des groupes de sécurité pour prévenir un accès non autorisé.
- Surveiller en continu les clusters d'IA et les environnements de production pour détecter des anomalies.
- Utiliser un proxy qui ajoute une couche d'autorisation si un tableau de bord Ray doit être accessible au public.
- Ne jamais supposer que la sécurité par défaut est suffisante.
Enfin, ils soulignent : « Le fardeau technique de sécuriser l'open source repose sur vous. Ne vous fiez pas uniquement aux mainteneurs. »
Classement
