Protect AI renforce la sécurité des LLM grâce à des initiatives d'acquisition open source.

Sécuriser les flux de travail en IA et en ML : Protéger l'approche innovante de l'IA

La sécurisation des flux de travail en intelligence artificielle (IA) et en apprentissage automatique (ML) représente un défi complexe, impliquant de nombreux éléments. La startup basée à Seattle, Protect AI, s'attaque à ce défi grâce à son acquisition récente de Laiyer AI, la société à l'origine du projet open-source LLM Guard. Les détails financiers de la transaction restent confidentiels. Cette acquisition renforcera la plateforme de Protect AI pour mieux protéger les organisations contre les risques potentiels associés aux grands modèles de langage (LLM).

Radar : Une solution complète de sécurité en IA

La plateforme commerciale principale de Protect AI, Radar, offre des capacités de visibilité, détection et gestion pour les modèles IA/ML. Après un tour de financement de 35 millions de dollars en Série A en juillet 2023, l'entreprise prévoit d'élargir ses initiatives de sécurité en IA. Daryan Dehghanpisheh, président et fondateur de Protect AI, a déclaré : « Nous souhaitons inciter l'industrie à adopter le MLSecOps, qui aide fondamentalement les organisations à voir, comprendre et gérer les risques et vulnérabilités liés à l'IA. »

Améliorations grâce à LLM Guard et Laiyer AI

Le projet LLM Guard, géré par Laiyer AI, fournit une gouvernance pour les opérations de LLM. Il comporte des contrôles d'entrée qui protègent contre les attaques par injection de prompts, une préoccupation croissante dans l'utilisation de l'IA. De plus, LLM Guard atténue le risque de fuites d'informations personnelles identifiables (PII) et de langage toxique. Côté sortie, il protège les utilisateurs des menaces variées, y compris les URL malveillantes. Dehghanpisheh a réaffirmé l'engagement de Protect AI à maintenir LLM Guard en open-source tout en prévoyant une offre commerciale, Laiyer AI, qui introduira des performances améliorées et des fonctionnalités adaptées aux entreprises. Protect AI intégrera également la technologie LLM Guard dans sa plateforme plus vaste, garantissant ainsi une protection à chaque étape du développement et du déploiement des modèles IA.

S'appuyant sur l'expérience Open Source

L'évolution de Protect AI, passant d'initiatives open-source à des produits commerciaux, est illustrée par sa direction du projet open-source ModelScan, qui identifie les risques de sécurité dans les modèles ML. Cette technologie sous-tend la technologie Guardian récemment annoncée par Protect AI, destinée à scanner les vulnérabilités des modèles ML. Scanner les modèles pour détecter des vulnérabilités est plus complexe que le scan traditionnel de virus ; les modèles ML ne présentent pas de vulnérabilités connues spécifiques à identifier. « Un modèle est un code auto-exécutable », a expliqué Dehghanpisheh. « Des appels exécutables malveillants peuvent facilement être intégrés, entraînant des risques significatifs. » La technologie Guardian de Protect AI est conçue pour détecter de telles menaces.

Vers une plateforme de sécurité en IA complète

Dehghanpisheh envisage que Protect AI évolue au-delà de produits de sécurité individuels. Dans le panorama actuel, les organisations utilisent souvent diverses technologies provenant de plusieurs fournisseurs. Protect AI vise à unir ses outils au sein de la plateforme Radar, en s'intégrant harmonieusement aux outils de sécurité existants tels que les systèmes SIEM (Gestion des informations et des événements de sécurité). Radar fournit une vue d'ensemble complète des composants d'un modèle IA, essentielle pour la gouvernance et la sécurité. Avec la technologie Guardian, Protect AI peut identifier les risques potentiels avant le déploiement, tandis que LLM Guard atténue les risques d'utilisation. En fin de compte, Protect AI s'efforce de fournir une solution de sécurité en IA holistique pour les entreprises, permettant aux organisations de gérer toutes les politiques de sécurité en IA depuis une plateforme unifiée. « Vous aurez une seule politique pour la sécurité IA à l'échelle de l'entreprise », a conclu Dehghanpisheh.