Verständnis von Shadow AI und den Herausforderungen für IT-Abteilungen
Shadow AI wird zu einer erheblichen Herausforderung für IT-Abteilungen, die mit der Bereitstellung und Verwaltung von generativen KI-Diensten betraut sind. Alarmierend ist, dass 45 % der Unternehmen über keine formale Richtlinie zur Nutzung von generativer KI verfügen, was diese Organisationen verwundbar für Risiken macht.
Mit der zunehmenden Verfügbarkeit großer Sprachmodelle (LLMs) haben IT-Mitarbeiter einfachen Zugang zu LLMs und GPUs-as-a-Service verschiedenster öffentlicher Cloud-Anbieter oder spezialisierter API-Dienste. Diese Zugänglichkeit hat es Wissensmitarbeitern erleichtert, eigene digitale Assistenten über benutzerfreundliche Schnittstellen auf Laptops oder mobilen Geräten zu erstellen.
Der Aufstieg von Shadow AI
Der aktuelle Zustand von Shadow AI spiegelt das Aufkommen von SaaS-Anwendungen und öffentlichen Cloud-Diensten wider, bei dem IT-Führungskräfte mit Geschäftseinheiten und Entwicklern konfrontiert waren, die Software ohne Genehmigung beschafften. IT-Abteilungen reagierten oft mit der Einschränkung von Shadow IT oder durch unbehagliche Vereinbarungen mit Mitarbeitern, die ihre bevorzugten Anwendungen verwenden wollten.
Gleichzeitig geriet der Cloud-Konsum außer Kontrolle, was zu Mehrkosten aufgrund von Fehlkonfigurationen und Überprovisionierung führte. Während IT damit begann, Investitionen an der Geschäftswert zu messen, verlagerte sich der Fokus auf die Optimierung der Ausgaben für die Cloud.
Die Neuausbalancierung der IT-Arbeitslasten wurde entscheidend, als Organisationen erkannten, dass viele Anwendungen in lokalen oder alternativen Cloud-Umgebungen besser abschneiden könnten. Mit einigen Cloud-Anbietern, die die Gebühren für Datenausgang überdenken, überdenken auch IT-Leiter ihre Strategien.
Obwohl die öffentliche Cloud eine hervorragende Umgebung für schnelles Application Testing und Skalierung bietet, erhöht sie auch die Anfälligkeit für nicht autorisierte Workloads.
Navigieren in der Governance von KI
Die Demokratisierung von KI-Funktionen stellt für IT-Führungskräfte ein Governance-Dilemma dar. Trotz der Herausforderungen sind CEOs bestrebt, generative KI-Dienste zu nutzen, was eine vollständige Streichung unpraktisch macht. Stattdessen müssen IT-Führungskräfte ein Gleichgewicht finden zwischen der Unterstützung von Mitarbeiterinitiativen in der generativen KI und der Implementierung verantwortungsvoller Governance, die das Budget respektiert.
Identifizierung idealer KI-Anwendungsfälle
Um dies zu erreichen, sollten IT-Leiter eng mit Geschäftsexperten zusammenarbeiten, um optimale Anwendungsfälle für generative KI zu identifizieren. Dieser Prozess erfordert Kompromisse von beiden Seiten, wobei die IT die Dienstleistungsoptionen einschränkt und Werkzeuge standardisiert.
Jeder Anwendungsfall sollte hinsichtlich der Kosten-Nutzen-Relation und Leistung bewertet werden, unabhängig davon, ob er lokal oder in gehosteten Umgebungen eingesetzt wird. Einige Anwendungen könnten in öffentlichen Cloud-Umgebungen besser performen, aber viele werden von einer vor Ort durchgeführten Implementierung profitieren, da sie von einer verbesserten Aufsicht und Sicherheit profitieren.
Die Bereitstellung eines LLM vor Ort kann auch zu Kosteneinsparungen führen. Eine aktuelle Studie von Enterprise Strategy Group (ESG) zeigte, dass inferenzbasierte Berechnungen mit einem Open-Source-LLM unter Verwendung von retrieval-augmented generation (RAG) vor Ort oft kostengünstiger sind als die Nutzung öffentlicher Cloud-Ressourcen oder API-basierter Dienstleistungen.
In den Tests von ESG wurde Folgendes festgestellt:
- Eine Instanz des Open-Source Mistral 7B-Modells war im Vergleich zu Amazon Web Services (AWS) EC2 um 38 % bis 48 % kosteneffizienter, wobei die Einsparungen mit zunehmender Benutzerzahl wuchsen.
- Der Vergleich einer 70 Milliarden Parameter Meta Llama 2-Instanz mit AWS EC2 zeigte einen Kosten Vorteil von 69 % bis 75 %.
- Der Test von Llama 2 (70B Parameter) gegen OpenAI’s GPT-4 Turbo für 50.000 Unternehmensbenutzer ergab, dass es um 81 % bis 88 % kosteneffizienter war.
Obwohl die Bereitstellung von generativen KI-Diensten vor Ort Shadow AI nicht beseitigen wird, kann sie dazu beitragen, dessen Auswirkungen zu mildern. Die Überwachung von Modellen im Haus erleichtert es IT-Teams, Probleme im Zusammenhang mit unerwarteten Ergebnissen anzugehen, was die Wichtigkeit der Abstimmung von KI-Initiativen mit den organisatorischen Daten unterstreicht.
Zusammenarbeit für den Erfolg
Organisationen werden wahrscheinlich generative KI-Workloads in verschiedenen Umgebungen betreiben, einschließlich öffentlicher und privater Clouds sowie Edge-Standorte. Die Entscheidung, wo LLMs bereitgestellt werden sollen, kann komplex sein, und vertrauenswürdige Partner wie Dell Technologies können auf diesem Weg entscheidende Unterstützung bieten, indem sie KI-optimierte Server, moderne Endgeräte und professionelle Dienstleistungen anbieten.
Shadow AI stellt erhebliche Herausforderungen dar, aber mit der richtigen Strategie und Partnerschaften können Unternehmen ein verantwortungsvolles Framework für generative KI schaffen. Der richtige Partner kann den Weg nach vorn aufzeigen.
Erfahren Sie mehr über Dell AI-Lösungen.
Rangliste
