Das Konzept, digitale Spear-Phishing-Angriffe auf Mitglieder des britischen Parlaments mithilfe von Large Language Models (LLMs) zu verfeinern, mag wie ein Handlungsstrang aus einem Mission Impossible-Film erscheinen, ist jedoch Realität in der Forschung von Julian Hazell an der Universität Oxford.
Hazells Arbeit hebt eine bedeutende Entwicklung in der Cyberbedrohung hervor: Wir haben eine Ära erreicht, in der LLMs als Waffen eingesetzt werden. Indem er demonstriert, wie LLMs wie ChatGPT-3, GPT-3.5 und GPT-4 kontextuell relevante Spear-Phishing-E-Mails generieren können, zeigt Hazell ihre alarmierende Fähigkeit zur Personalisierung, die es Angreifern ermöglicht, ihre Taktiken schnell anzupassen, bis sie eine Reaktion hervorrufen.
In seiner im Mai 2023 veröffentlichten Arbeit, die im Open-Access-Journal arXiv erschienen ist, stellte Hazell fest: „Diese Nachrichten sind nicht nur realistisch, sondern auch kostengünstig, da jede E-Mail nur einen Bruchteil eines Cents kostet.“ Diese Arbeit hat seitdem an Bedeutung gewonnen und wurde in über 23 weiteren Studien zitiert, was auf ein wachsendes Bewusstsein und Besorgnis in der Forschungsgemeinschaft hinweist.
Die Implikationen sind klar: Illegale Angreifer, Cyberkriminelle und Teams von Nationalstaaten können nun LLMs anpassen, um ihre wirtschaftlichen und sozialen Ziele zu verfolgen. Die Entstehung von Werkzeugen wie FraudGPT zeigt das Potenzial von LLMs, verstärkt missbraucht zu werden, wobei Studien darauf hinweisen, dass Modelle wie GPT-4 und Llama 2 zunehmend als Waffen eingesetzt werden.
Diese rasante Entwicklung ist ein entscheidender Weckruf für die Notwendigkeit, die Sicherheitsmaßnahmen für generative KI zu verbessern. Jüngste Turbulenzen innerhalb von OpenAI verdeutlichen die Notwendigkeit einer stärkeren Modellsicherheit über den gesamten Lebenszyklus der Systementwicklung (SDLC). Initiativen wie Metas Purple Llama fördern die Zusammenarbeit bei der sicheren Entwicklung generativer KI und betonen die Dringlichkeit für LLM-Anbieter, Schwachstellen zu beseitigen, die zu verheerenden Angriffen führen könnten.
Einstieg in die Waffennutzung von LLMs
LLMs sind äußerst vielseitig, was sie zu zweischneidigen Waffen für die Cybersicherheit macht. Organisationen müssen sich auf diese aufkommenden Bedrohungen vorbereiten. Forschungen wie „BadLlama: Günstiges Entfernen von Sicherheits-Finetuning aus Llama 2-Chat 13B“ zeigen, wie LLMs leicht als Waffen eingesetzt werden können und damit die Sicherheitsmechanismen von Organisationen wie Meta gefährden. Das BadLlama-Team kam zu dem Schluss, dass der öffentliche Zugang zu Modellgewichten böswilligen Akteuren ermöglicht, diese Sicherheitsfunktionen kostengünstig zu umgehen.
Jerich Beason, Chief Information Security Officer (CISO) bei WM Environmental Services, betont die Bedeutung der Sicherung generativer KI. Sein LinkedIn Learning-Kurs „Sichere Nutzung von Generativer KI in Ihrer Organisation“ bietet Einblicke, wie man generative KI sicher nutzen und Bedrohungen mindern kann. Beason warnt, dass das Vernachlässigen von Sicherheitsmaßnahmen zu Compliance-Verstößen, rechtlichen Problemen und erheblichen Schäden an der Markenreputation führen kann.
Häufige Taktiken zur Waffennutzung von LLMs
LLMs werden zunehmend von böswilligen Akteuren für verschiedene Zwecke, von Cyberkriminalität bis Desinformation, ausgenutzt. Wichtige Methoden der Waffennutzung umfassen:
- Jailbreaking und Reverse Engineering: Forschungen zeigen, wie Angreifer die Sicherheitsfunktionen von LLMs negieren können, was sie anfällig macht. Das ReNeLLM-Framework offenbart bestehende Verteidigungsunzulänglichkeiten durch Jailbreak-Eingaben.
- Phishing und Social Engineering: Schnelle Simulationen von Spear-Phishing-Kampagnen verdeutlichen die Leichtigkeit, mit der Ziele erreicht werden können. Die Verwendung von Voice-Deepfakes zur Erpressung zeigt die wachsende Komplexität dieser Angriffe.
- Marken-Hijacking und Desinformation: LLMs können die öffentliche Meinung manipulieren, Unternehmensmarken neu definieren und Propaganda unterstützen, was demokratische Prozesse und die gesellschaftliche Stabilität bedroht.
- Entwicklung biologischer Waffen: Studien des MIT und anderer Institutionen untersuchen, wie LLMs den Zugang zu doppelverwendbaren Biotechnologien demokratisieren könnten, was ernsthafte ethische Bedenken hinsichtlich ihres potenziellen Missbrauchs aufwirft.
- Cyber-Spionage und Diebstahl geistigen Eigentums: Cyberkriminelle nutzen LLMs, um Führungskräfte zu imitieren und an vertrauliche Informationen zu gelangen, was erhebliche Risiken für Unternehmen darstellt.
- Evolvierende rechtliche und ethische Implikationen: Herausforderungen bezüglich der Trainingsdaten und der potenziellen Waffennutzung von raubkopierten LLMs verdeutlichen die rechtlichen Komplexitäten, mit denen Organisationen konfrontiert sind.
Den Bedrohungen durch waffenfähige LLMs entgegenwirken
Um die wachsenden Risiken im Zusammenhang mit LLMs anzugehen, haben sich drei Kernstrategien herauskristallisiert:
1. Frühe Sicherheitsausrichtung im SDLC: Organisationen müssen proaktive Ansätze verfolgen, indem sie umfassende Sicherheitsmaßnahmen von Beginn an integrieren. Erhöhte adversarielle Schulung und Red Team-Übungen sind unerlässlich.
2. Verbesserte Überwachung und Filterung: Eine kontinuierliche Überwachung der LLM-Interaktionen ist entscheidend, um vertrauliche Datenlecks zu verhindern. Lösungen wie Ericoms Generative AI Isolation bieten effektiven Schutz gegen Datenverluste durch die Isolierung sensibler Interaktionen.
3. Kollaborative Standardisierung in der LLM-Entwicklung: Initiativen wie Metas Purple Llama unterstreichen die Bedeutung von branchenweiter Zusammenarbeit zur Entwicklung und Durchsetzung strengerer Sicherheitsmaßnahmen für LLMs.
Durch das Verständnis und die Auseinandersetzung mit diesen Herausforderungen können Organisationen besser auf die Implikationen waffenfähiger LLMs vorbereitet sein und ihre Cybersicherheitsstrategie in diesem sich entwickelnden Umfeld verbessern.
Rangliste
