Comprendre l'IA de l'ombre et ses Défis pour les Départements IT
L'IA de l'ombre devient un défi majeur pour les départements IT chargés de déployer et de gérer des services d'IA générative. Alarmant, 45 % des entreprises n'ont pas de politique formelle régissant l'utilisation de l'IA générative, laissant les organisations exposées à des risques.
Avec la prolifération des grands modèles de langage (LLM) et leur accessibilité croissante, le personnel informatique peut facilement accéder aux LLM et aux GPU à la demande via divers fournisseurs de cloud public ou offres d'API spécialisées. Cette accessibilité permet aux travailleurs du savoir de créer leurs propres assistants numériques via des interfaces conviviales sur ordinateurs portables ou appareils mobiles.
L'Ascension de l'IA de l'Ombre
L'état actuel de l'IA de l'ombre rappelle l'émergence des applications SaaS et des services de cloud public, où les leaders IT faisaient face à des unités métier et des développeurs qui se procurent des logiciels sans approbation. Les départements IT réagissaient souvent en restreignant l'IT de l'ombre ou en établissant des accords délicats avec des employés favorisant leurs applications préférées.
Parallèlement, la consommation du cloud est devenue incontrôlable, entraînant des coûts excessifs dus à des erreurs de configuration et à une surprovision. À mesure que les départements IT évaluaient les investissements en fonction de la valeur commerciale, l'accent s'est progressivement déplacé vers l'optimisation des dépenses liées au cloud.
Il est devenu essentiel de rebalancer les charges de travail IT, les organisations réalisant que de nombreuses applications pourraient mieux fonctionner en local ou dans d'autres environnements cloud. Avec certains fournisseurs de cloud reconsidérant les frais de sortie de données, les dirigeants IT redéfinissent leurs stratégies.
Bien que le cloud public soit un excellent environnement pour des tests d'applications rapides et une scalabilité, il augmente également la vulnérabilité aux charges de travail non autorisées.
Naviguer dans la Gouvernance de l'IA
La démocratisation des capacités d'IA présente un dilemme de gouvernance pour les dirigeants IT. Malgré les défis, les PDG sont désireux d'adopter des services d'IA générative, rendant son annulation complète peu réalisable.
Les dirigeants IT doivent donc trouver un équilibre entre le soutien des initiatives des employés en matière d'IA générative et la mise en place d'une gouvernance responsable qui respecte les contraintes budgétaires.
Identifier les Cas d'Utilisation Idéaux de l'IA
Pour ce faire, les dirigeants IT devraient collaborer avec les dirigeants d'entreprise pour identifier les cas d'utilisation optimaux de l'IA générative. Ce processus nécessitera des compromis, avec une réduction des options de services par l'IT et la standardisation des outils.
Chaque cas d'utilisation doit être évalué en termes de rentabilité et de performance, qu'il soit déployé en local ou dans des environnements hébergés. Certaines applications peuvent mieux fonctionner dans des environnements de cloud public, mais beaucoup prospéreront en local, bénéficiant d'un meilleur contrôle et d'une sécurité accrue.
Déployer un LLM sur site peut également entraîner des économies. Une étude récente de l'Enterprise Strategy Group (ESG) a révélé que réaliser des inférences avec un LLM open-source utilisant la génération augmentée par récupération (RAG) sur site est souvent plus économique que d'utiliser des ressources de cloud public ou des services basés sur API.
Dans les tests de l'ESG, ils ont constaté :
- Une instance du modèle open-source Mistral 7B testée par rapport à Amazon Web Services (AWS) EC2 était 38 % à 48 % plus économique, avec des économies augmentant avec la croissance des utilisateurs.
- Comparer une instance de Meta Llama 2, 70 milliards de paramètres, à AWS EC2 a montré un avantage de coût de 69 % à 75 %.
- Tester Llama 2 (70 milliards de paramètres) contre GPT-4 Turbo d'OpenAI pour 50 000 utilisateurs d'entreprise a indiqué une rentabilité de 81 % à 88 %.
Bien que le déploiement de services d'IA générative sur site ne puisse pas éliminer l'IA de l'ombre, il peut aider à atténuer son impact. La surveillance des modèles en interne facilite la gestion des problèmes liés à des résultats inattendus, soulignant l'importance d'aligner les initiatives d'IA sur les données organisationnelles.
Collaborer pour le Succès
Les organisations opéreront probablement des charges de travail d'IA générative dans divers environnements, y compris les clouds publics et privés ainsi que les localisations en périphérie. Déterminer où déployer les LLM peut être complexe, et des partenaires de confiance comme Dell Technologies peuvent fournir un soutien essentiel dans ce parcours, offrant des serveurs optimisés pour l'IA, des dispositifs clients modernes et des services professionnels.
L'IA de l'ombre pose des défis significatifs, mais avec la bonne stratégie et les bons partenariats, les entreprises peuvent établir un cadre responsable pour l'IA générative. Le bon partenaire peut éclairer la voie à suivre.
En savoir plus sur les solutions IA de Dell.