‘ShadowRay’-Sch vulnerability in Ray Framework bedroht Tausende von KI-Workloads, Rechenressourcen und sensible Daten.

Tausende Unternehmen verlassen sich auf das Ray-Framework, um komplexe, rechenintensive KI-Arbeitslasten zu skalieren und zu verwalten. Tatsächlich ist es schwer, ein großes Sprachmodell (LLM) zu finden, das nicht mit Ray entwickelt wurde. Allerdings enthalten diese Arbeitslasten häufig sensible Daten, die Forscher aufgrund eines kritischen Sicherheitsfehlers (CVE) im offenen, einheitlichen Compute-Framework als anfällig identifiziert haben.

In den vergangenen sieben Monaten hat dieser Fehler Angreifern ermöglicht, KI-Produktionsarbeitslasten auszunutzen und Zugriff auf Rechenleistung, Anmeldedaten, Passwörter, Schlüssel, Tokens und eine Vielzahl anderer sensibler Informationen zu erlangen, wie Forschungen von Oligo Security zeigen. Diese Schwachstelle, auch „ShadowRay“ genannt, ist umstritten und wird als „Shadow-Vulnerability“ eingestuft, was bedeutet, dass sie nicht als Bedrohung angesehen wird und es keinen offiziellen Patch gibt. Daher taucht sie nicht in Standard-Scanprozessen auf.

Diese Situation stellt den „ersten bekannten Fall dar, in dem KI-Arbeitslasten aktiv über Schwachstellen in der modernen KI-Infrastruktur ausgenutzt werden“, sagen die Forscher Avi Lumelsky, Guy Kaplan und Gal Elbaz. Sie betonen: „Wenn Angreifer auf ein Ray-Produktionscluster zugreifen, ist das ein Jackpot. Wertvolle Unternehmensdaten in Kombination mit Remote-Code-Ausführung schaffen Möglichkeiten zur Monetarisierung, und das alles bleibt unentdeckt.“

Ein erhebliches Blindfeld

Viele Organisationen, darunter Amazon, Instacart, Shopify, LinkedIn und OpenAI, sind auf Ray angewiesen für großangelegte KI-, Daten- und SaaS-Arbeitslasten – so wurde beispielsweise das GPT-3-Modell von OpenAI mit Ray trainiert. Dieses Framework ist entscheidend für Modelle mit Milliarden von Parametern, die erhebliche Rechenleistung erfordern und nicht auf einer einzigen Maschine ausgeführt werden können. Ray, das von Anyscale gepflegt wird, unterstützt verteilte Arbeitslasten für Training, Bereitstellung und Feinabstimmung vielfältiger KI-Modelle. Benutzer benötigen keine umfangreichen Python-Kenntnisse, und die Installation erfolgt unkompliziert mit minimalen Abhängigkeiten.

Forscher von Oligo bezeichnen Ray als das „Schweizer Taschenmesser für Python-Nutzer und KI-Anwender“.

Trotz dieser Vorteile macht die ShadowRay-Schwachstelle die Abhängigkeit von Ray noch besorgniserregender. Bekannt als CVE-2023-48022, entsteht die Schwachstelle durch unzureichende Autorisierung in der Ray Jobs API, was sie für Angriffe zur Remote-Code-Ausführung anfällig macht. Jeder mit Zugriff auf das Dashboard kann beliebige Jobs ohne Erlaubnis ausführen.

Obwohl diese Schwachstelle zusammen mit vier anderen Ende 2023 an Anyscale gemeldet wurde, bleibt nur CVE-2023-48022 unbehandelt. Anyscale bestreitet die Vulnerabilität und behauptet, sie stelle ein erwartetes Verhalten dar und sei eine Produktfunktion, die das Triggern von Jobs und die dynamische Codeausführung in einem Cluster erleichtert.

Anyscale betont, dass Dashboards nicht öffentlich zugänglich sein sollten oder nur vertrauenswürdigen Benutzern vorbehalten werden sollten; daher fehle es Ray an einer Autorisierung, da es von einem sicheren Umfeld mit „richtiger Routing-Logik“ durch Netzwerkisolierung, Kubernetes-Namensräume, Firewall-Regeln oder Sicherheitsgruppen ausgeht. Diese Entscheidung verdeutlicht „die Komplexität, Sicherheit und Benutzerfreundlichkeit in der Softwareentwicklung auszubalancieren“, stellen die Forscher von Oligo fest und betonen die Notwendigkeit einer sorgfältigen Überlegung bei Änderungen an kritischen Systemen wie Ray.

Darüber hinaus entziehen sich umstrittene Schwachstellen oft der Erkennung, sodass viele Sicherheits-Scanner sie übersehen. Oligo-Forscher fanden heraus, dass ShadowRay in mehreren Datenbanken, darunter Googles Open Source Vulnerability Database (OSV), nicht aufgetaucht ist und auch nicht über statische Anwendungssicherheitsprüfungen (SAST) und Softwarekompositionsanalysen (SCA) sichtbar war.

„Das hat ein Blindfeld geschaffen: Sicherheitsteams waren sich potenzieller Risiken nicht bewusst“, erklärten die Forscher und wiesen darauf hin: „KI-Experten sind keine Sicherheitsexperten, wodurch sie anfällig für Risiken sind, die von KI-Frameworks ausgehen.“

Von Produktionsarbeitslasten zu kritischen Tokens

Die Forscher enthüllten, dass kompromittierte Server eine „Schatztruhe“ sensibler Informationen preisgaben, darunter:

- Störungen von KI-Produktionsarbeitslasten, die die Integrität oder Genauigkeit von Modellen während des Trainings gefährden.

- Zugang zu sensiblen Cloud-Umgebungen (AWS, GCP, Azure), die Kundendatenbanken und sensible Produktionsdaten exponieren könnten.

- Zugang zur Kubernetes API, der Infektionen von Cloud-Arbeitslasten oder den Zugriff auf Kubernetes-Geheimnisse ermöglicht.

- Sensible Anmeldedaten für Plattformen wie OpenAI, Stripe und Slack.

- Datenbankanmeldedaten, die stille Downloads oder Änderungen vollständiger Datenbanken erlauben.

- Private SSH-Schlüssel für den Zugriff auf zusätzliche Maschinen für böswillige Aktivitäten.

- OpenAI-Tokens, die möglicherweise Kontostände leeren.

- Hugging Face-Tokens, die Zugang zu privaten Repositories bieten und Angriffe auf die Lieferkette erleichtern.

- Stripe-Tokens, die ausgenutzt werden könnten, um Zahlungskonten zu leeren.

- Slack-Tokens, die für unbefugte Nachrichten oder das Lesen genutzt werden könnten.

Die Forscher berichteten, dass viele kompromittierte GPUs derzeit rar und teuer sind. Sie haben „Hunderte“ kompromittierte Cluster identifiziert, die hauptsächlich im Kryptowährungs-Mining verwendet werden. „Angreifer zielen auf diese Systeme nicht nur wegen wertvoller Informationen, sondern auch, weil GPUs teuer und schwer zu beschaffen sind, insbesondere heutzutage“, stellten die Forscher fest, wobei einige On-Demand-Preise für GPUs auf AWS jährlich bis zu 858.480 USD erreichen.

Da Angreifer sieben Monate Zeit hatten, um diese Hardware auszunutzen, schätzen Schätzungen, dass die kompromittierten Maschinen und die Rechenleistung insgesamt einen Wert von 1 Milliarden USD haben könnten.

Maßnahmen gegen Shadow-Schwachstellen

Die Oligo-Forscher erkennen an, dass „Shadow-Schwachstellen immer existieren werden“ und Hinweise auf Ausnutzung unterschiedlich sein können. Sie empfehlen mehreren Maßnahmen für Organisationen:

- Ray in einem sicheren und vertrauenswürdigen Umfeld zu betreiben.

- Firewall-Regeln und Sicherheitsgruppen zu implementieren, um unbefugten Zugriff zu verhindern.

- KI-Cluster und Produktionsumgebungen kontinuierlich auf Anomalien zu überwachen.

- Ein Proxy zu verwenden, der eine Autorisierungsebene hinzufügt, falls ein Ray-Dashboard öffentlich zugänglich sein muss.

- Niemals davon auszugehen, dass die Standard-Sicherheit ausreicht.

Letztlich betonen sie: „Die technische Verantwortung für die Sicherung von Open Source liegt bei Ihnen. Verlassen Sie sich nicht ausschließlich auf die Entwickler.“

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles