IT-Führungskräfte setzen zunehmend auf generative KI und integrieren sie in wesentliche Geschäftsbereiche wie Marketing, Design, Produktentwicklung, Datenwissenschaft, Betrieb und Vertrieb. Neben unternehmerischen Anwendungen spielt generative KI auch eine entscheidende Rolle in humanitären Bemühungen, darunter Impfstoffentwicklung, Krebsfrüherkennung sowie Umwelt-, Sozial- und Governance-Initiativen wie die Ressourcenoptimierung.
Jedoch bringen diese Anwendungen spezifische Sicherheitsrisiken mit sich, insbesondere im Hinblick auf Datenschutz, Compliance und den möglichen Verlust sensibler Daten und geistigen Eigentums. Mit zunehmender Anwendung generativer KI werden diese Risiken weiter zunehmen.
„Organisationen müssen jedes Projekt im Bereich generative KI proaktiv planen – sowohl intern als auch extern – und dabei nicht nur aktuelle, sondern auch zukünftige Herausforderungen im Blick haben“, rät Vijoy Pandey, SVP bei Outshift von Cisco. „Es ist entscheidend, Innovation und Nutzervertrauen auszubalancieren, wobei Datenschutz, Authentizität und Verantwortlichkeit Priorität haben.“
Verstehen der einzigartigen Risiken von generativer KI
Die Risiken, die mit generativer KI verbunden sind, unterscheiden sich erheblich von klassischen Technologien. Sophisticated Phishing-Angriffe, die auf Deepfake-Technologie zurückgreifen, können Einzelpersonen täuschen und Identitätsbetrug begünstigen. Betrüger könnten sich als Kundenservicemitarbeiter eines Unternehmens ausgeben, um unrechtmäßig sensible Informationen zu erlangen, was zu erheblichen finanziellen Verlusten führen kann.
Darüber hinaus geben Nutzer oft unwissentlich sensible Informationen in generative KI-Modelle ein, die diese Daten für Trainingszwecke speichern und nutzen können, was erhebliche Bedenken hinsichtlich der Datenschutz-konformität und des Datenschutzes aufwirft. Organisationen müssen wachsam in Bezug auf neue Vorschriften sein, die als Reaktion auf die Risiken der generativen KI entstehen.
Obgleich die umfangreichen Datenanforderungen großer Sprachmodelle (LLMs) Herausforderungen mit sich bringen, können bestehende Sicherheitsrahmen zur Minderung von Risiken im Zusammenhang mit Rohdaten und Datenlecks beitragen.
Betrüger können Schwachstellen innerhalb der generativen KI-Pipeline ausnutzen, was zu ungenauen Vorhersagen, Dienstunterbrechungen oder sogar zu einem Verstoß gegen Betriebssysteme und zu negativen Auswirkungen auf das Ansehen in sozialen Medien führen kann.
„Wenn wir mit Bedrohungen wie Datenvergiftung und Modellumkehr konfrontiert sind, wird die Erkennung entscheidend“, erklärt Pandey. „Wir verlassen uns auf etablierte Konfidenzintervalle zur Bewertung der Modelloutputs, aber wenn Angreifer die Pipeline kompromittieren, können unsere Vertrauensstandards untergraben werden.“
Die sofortige Erkennung von Problemen gestaltet sich als schwierig; Schwierigkeiten treten normalerweise im Lauf der Zeit auf. Sicherheitsteams können Ressourcen wie MITRE ATLAS und die OWASP Top 10 nutzen, um aufkommende Sicherheitsbedenken im Bereich generative KI anzugehen.
„Generative KI entwickelt sich noch, und die Sicherheit muss sich parallel dazu entwickeln“, warnt Pandey. „Dies ist eine kontinuierliche Reise.“
Sicherheit des geistigen Eigentums und Transparenzprobleme
Generative KI erzeugt komplexe Ergebnisse durch die Verarbeitung großer Datensätze und raffinierter Algorithmen. Nutzer können in der Regel die Ursprünge der bereitgestellten Informationen nicht zurückverfolgen, was erhebliche Risiken im Hinblick auf die Exposition von geistigem Eigentum mit sich bringt. Diese Bedenken entstehen sowohl aus externen Trainingsdaten als auch aus den von Nutzern eingegebenen Inhalten.
„Die Herausforderung besteht darin, den Zugang zu Daten abzusichern und zugleich geistiges Eigentum sowie sensible Informationen davor zu schützen, die Organisation zu verlassen oder unbeabsichtigt in das Modell zu gelangen“, erklärt Pandey. „Nutzen wir möglicherweise Open-Source- oder lizenzierte Inhalte unangemessen?“
Zudem weisen generative KI-Modelle oft eine fehlende Echtzeit-Relevanz und Spezifität auf, was Anwendungen wie die Retrieval-Augmented Generation (RAG) betrifft, die den aktuellen Geschäftskontext einbezieht und Zitationen zur Überprüfung bereitstellt. RAG verbessert LLMs, indem sie kontinuierliches Lernen ermöglicht, Ungenauigkeiten verringert und gleichzeitig sensible Informationen schützt.
„RAG ist vergleichbar damit, einen Generalisten in die Bibliothek zu schicken, um über Quantenphysik zu lernen“, beschreibt Pandey. „Die Sammlung und Verarbeitung relevanter Informationen ist im Wesentlichen das, was RAG leistet. Auch wenn es Herausforderungen mit sich bringt und Experimente erfordert, passt es Fundamentalmuster an, um spezifischen Anwendungsfällen von Organisationen gerecht zu werden, ohne die Datenintegrität zu gefährden.“
Benutzersicherheit gewährleisten und für die Zukunft bauen
„Der Bereich der Anwendungsfälle für generative KI ist derzeit gut definiert, wird in den kommenden Jahren jedoch alles, was wir schaffen oder konsumieren, durchdringen“, prognostiziert Pandey. „Dies erfordert einen Null-Vertrauen-Ansatz.“
Gehen Sie davon aus, dass jeder Bestandteil der Pipeline – von den Daten über die Modelle bis hin zum Benutzerzugriff – potenziell fehleranfällig ist.
Angesichts der Neuartigkeit dieser Technologie und aufgrund der fehlenden festen Regeln können menschliche Fehler und Schwachstellen leicht übersehen werden. Präzise Dokumentation ist entscheidend, um potenzielle Verstöße zu adressieren und Sicherheitsmaßnahmen zu priorisieren.
„Führen Sie Ihre Ziele auf: Dokumentieren Sie Datenquellen, Modelle in Produktion und deren Trainingsprozesse“, empfiehlt Pandey. „Kategorisieren Sie Anwendungen nach ihrer Bedeutung und stellen Sie sicher, dass Sicherheitsrichtlinien diese Kritikalität widerspiegeln.“
Sicherheit muss auf allen Ebenen integriert werden, von der Infrastruktur bis zur Anwendung. Wenn eine Ebene versagt, kann eine Strategie zur Verteidigung in der Tiefe zusätzlichen Schutz bieten, was verdeutlicht, dass Sicherheit ein fortlaufender Prozess ist.
„Die Lösung zur Bewältigung von Sicherheitsfragen in der generativen KI liegt in stochastischen Prozessen – Modellen, die speziell darauf ausgelegt sind, Sicherheitsbedenken in anderen Modellen zu verwalten“, schlägt Pandey vor.
Die kritische Bedeutung des Nutzervertrauens in generative KI
Das Vertrauen der Nutzer ist ein entscheidender Leistungsindikator für Unternehmen. „Sicherheit beeinflusst das Benutzererlebnis und hat direkten Einfluss auf den Erfolg generativer KI-Lösungen“, betont Pandey. Der Verlust des Vertrauens kann sich erheblich negativ auf den Umsatz auswirken.
„Eine unsichere Anwendung wird im Wesentlichen nicht mehr existieren; alle damit verbundenen Monetarisierungs- oder Geschäftsziele verlieren ihre Relevanz“, erklärt er. „Dasselbe gilt für ein unsicheres generatives KI-Modell oder eine Anwendung. Ohne Sicherheit ist Ihr Modell unbrauchbar, was das Unternehmenswachstum hemmt.“
Umgekehrt kann das Vertrauen der Kunden schnell erodieren, wenn sie erfahren, dass ihre privaten Daten missbraucht wurden – insbesondere in einer Umgebung der generativen KI – was die ohnehin schon fragile Wahrnehmung von KI-Technologien zusätzlich erschwert.
Diese beiden gleichzeitigen Herausforderungen erfordern Zeit, damit Organisationen die Risiken vollständig verstehen und effektive Lösungen etablieren können.
„Adoptieren Sie eine Null-Vertrauen-Philosophie, bauen Sie robuste Verteidigungen auf, und bleiben Sie sich der undurchsichtigen Natur der generativen KI bewusst“, schließt Pandey. „Erkennen Sie, dass der Ausgangspunkt von heute sich in drei Jahren erheblich von Ihrer Position unterscheiden wird, da sich sowohl die generative KI als auch die damit verbundenen Sicherheitsmaßnahmen rasant weiterentwickeln.“