APT und gezielte Angriffe
KI-Anwendungen im Fadenkreuz
KI-Sicherheitsmaßnahmen konzentrieren häufig die KI-Kernmodelle, doch die umgebende Infrastruktur und die Cloud-Services sind ebenso wichtig für die Sicherheit von KI-Anwendungen, insbesondere mit dem Aufkommen von KI-as-a-Service.
Save to Folio
Kernpunkte
- Schnelle Zunahme von AI-as-a-Service (AIaaS) und die Abhängigkeit von Cloud-basierten KI-Lösungen.
- Die jüngsten Angriffe auf KI-Infrastrukturen und Cloud-Dienste sowie gängige Angriffsvektoren.
Artificial-Intelligence-as-a-Service (AIaaS) stellt KI-Tools und -Funktionen über die Cloud zur Verfügung, so dass Unternehmen KI wie maschinelles Lernen, Verarbeitung natürlicher Sprache und Computer Vision erforschen und nutzen können, ohne die Technologie selbst entwickeln zu müssen. AIaaS hat vor allem durch die Einführung von ChatGPT von OpenAI 2023 stark an Bedeutung gewonnen. Mit AIaaS-Anbietern wie AWS, Microsoft Azure und Google Cloud können Entwickler KI-Anwendungen schnell und einfach erstellen, bereitstellen und entsprechend den Geschäftsanforderungen skalieren.
Der zunehmende Einsatz von KI bringt auch neue Sicherheitsrisiken mit sich. KI-Lösungen benötigen oft große Datenmengen für das Training und die Anpassung, doch beinhalten viele Anwendungsfälle keinen direkten Datenzugriff durch den KIaaS-Anbieter. Fehlkonfigurationen oder unsichere Implementierungen können Unternehmen Risiken durch Drittanbieter, Datenlecks oder Modellmanipulationen aussetzen. Die Sicherung des Datenzugriffs, -transfers und -speichers ist nach wie vor unerlässlich, da Angreifer Schwachstellen in diesen KI-Diensten ausnutzen können, um bösartige Daten einzuschleusen, KI-Ausgaben zu manipulieren oder Angriffe zur Modellextraktion zu starten.
Vergangene Vorfälle und Berichte
Frühere Vorfälle und Berichte zeigen die sich entwickelnde Bedrohungslandschaft und betonen die Notwendigkeit robuster Sicherheitsmaßnahmen für KI-Anwendungen.
Sich mehrende Cyberangriffe:
- Einer Prognose zufolge erwarten 93 % der Sicherheitsverantwortlichen, dass sie 2025 täglich KI-Angriffen ausgesetzt sein werden.
- Gartner prognostiziert, dass KI-Cyberattacken Methoden wie das Manipulieren von Trainingsdaten, Diebstahl von KI-Modellen oder Adversarial Samples verwenden werden.
Organisatorische Probleme:
- Laut einer Microsoft-Umfrage haben 25 von 28 Unternehmen Schwierigkeiten, geeignete Tools zur Sicherung ihrer maschinellen Lernsysteme zu finden.
Exponierung und Fehlkonfigurationen:
- Ein Cloud-Sicherheitsbericht von 2024 zeigt auf, dass 82 % der Unternehmen, die Amazon SageMaker nutzen, mindestens ein Notebook im Internet exponieren und damit das Risiko von Cyberangriffen erhöhen.
- Der Cloud-Sicherheitsbericht 2024 von Trend Micro und Cybersecurity Insiders zeigt, dass 56 % der Befragten Konfigurations- und Fehlkonfigurationsmanagement als ein großes Problem ansehen.
- 54 % der Unternehmen speichern personenbezogene Daten und 21 % haben mindestens ein S3-Bucket mit sensiblen Daten, das im Internet exponiert ist.
Immer mehr CVEs:
- Eine Untersuchung von JFrog hat mehr als 20 CVEs aufgedeckt, die verschiedene ML-Anbieter betreffen und die wachsende Zahl bekannter Sicherheitsschwachstellen in KI-Systemen verdeutlichen.
Häufige Angriffsvektoren in KI-Diensten und Pipelines
Cloud-ML-Pipelines sind zwar leistungsstark, aber anfällig für zahlreiche Angriffsvektoren, die die Integrität, Vertraulichkeit und Verfügbarkeit von ML-Modellen und deren Daten gefährden können. Dazu gehören Data Poisoning, Modellumgehung, Angriffe auf die Lieferkette und vieles mehr. Die wichtigsten Vektoren:
- Schlechte Kodierungspraktiken können Schwachstellen verursachen. Probleme wie die Hard Coding von API-Schlüsseln oder Passwörtern, unzureichende Fehlerbehandlung und die Nichteinhaltung von Standards für sichere Codierung sind weit verbreitet. Auch die Verwendung von Bibliotheken von Drittanbietern oder ungeprüften Modellen kann die Systeme Risiken aussetzen. So wurden beispielsweise bei Hugging Face rund 100 ML-Modelle identifiziert, die Angreifern die Möglichkeit bieten, schädlichen Code einzuschleusen.
- Übermäßiges Vertrauen in KI für die Codegenerierung: Generative KI kann den Entwicklungszyklus durch die Generierung von Code für die Entwickler beschleunigen, kann aber auch Sicherheitslücken verursachen, wenn der generierte Code nicht gründlich überprüft, bereinigt und getestet wird. So haben Invicti-Forscher Bedenken zum KI-gestützten Code Suggestion-Tool von GitHub geäußert, da dessen Vorschläge SQL-Injection und Cross-Site-Scripting (XSS)-Schwachstellen enthielten. Forschung der Stanford University hat außerdem ergeben, dass KI-gestützte Code-Entwicklung zu fehlerhafterem Code führt.
- Fehlkonfigurationen in Cloud-Plattformen ermöglichen unbefugten Zugriff auf sensible Daten und KI-Prozesse. Zu den häufigsten Fehlern gehören ungeschützte Speicherlösungen und mangelhafte Zugriffskontrollen.
- Schwachstellen in KI-spezifischen Bibliotheken können Schwachstellen aufweisen, die, wenn sie ausgenutzt werden, die Integrität von KI-Modellen und zugehörigen Daten gefährden. CVE-2024-34359, auch bekannt als „Llama-Drama“ etwa, ist eine kritische Schwachstelle im Llama-cpp-Python-Paket, die die Ausführung von Remotecode aufgrund einer unzureichenden Eingabevalidierung ermöglicht und damit das Risiko von Angriffen auf die Lieferkette birgt.
- Schwachstellen in der Cloud-Plattform, etwa unsichere APIs oder Schwachstellen in der Architektur, können genutzt werden. So wurde beispielsweise Anfang 2024 eine kritische API-Schwachstelle in Replicate entdeckt, die einen unbefugten Zugriff auf Modelldaten ermöglichte. Dadurch konnten Angreifer sensible Informationen einsehen oder verändern. Replicate hat inzwischen eine Sicherheitslücke geschlossen.
Angriffsziele
- Entwickler sind ein Hauptziel für Angreifer, da sie direkten Zugang zu kritischen Code Repositories und sensiblen Systemkonfigurationen haben. Bei ihrer Aufgabe besteht darin, Code zu schreiben und zu pflegen, müssen sie häufig Bibliotheken und Open Source-Tools von Drittanbietern nutzen. sollten sie nicht bewährte Sicherheitspraktiken beachten, können sie Schwachstellen in die Software einbringen, wie z. B. festcodierte Anmeldedaten oder unsichere API-Integrationen. Außerdem werden sie über Social-Engineering-Taktiken wie Phishing ins Visier genommen, mit deren Hilfe Angreifer versuchen, sie zur Preisgabe vertraulicher Informationen oder zur Gewährung unbefugten Zugriffs zu verleiten.
- Datenwissenschaftler sind aufgrund ihres Zugangs zu wertvollen Datensätzen und maschinellen Lernmodellen ebenfalls ein attraktives Ziel. Sie sammeln, bereinigen und analysieren Daten, die sensible Informationen enthalten können. Angreifer wählen Datenwissenschaftler als Ziel, um deren Trainingsdaten zu manipulieren (Data Poisoning) und somit fehlerhafte Modellvorhersagen und Entscheidungen zu provozieren. Auch Datenwissenschaftler greifen häufig auf verschiedene Open Source-Bibliotheken mit potenziellen Schwachstellen zurück, die sich ausnutzen lassen. Ihr Fokus auf Innovation und Experimentieren kann dazu führen, dass sie in Bezug auf die Sicherheit weniger wachsam sind und infolgedessen ihr Risiko erhöhen.
KI-Angriffs-Frameworks
MITRE ATLAS kategorisiert Angriffstechniken, die auf KI und maschinelle Lernsysteme abzielen, und bietet eine Taxonomie, die verschiedene Angriffsmethoden, Ziele und Verteidigungsstrategien umfasst. Das Framework enthält außerdem aktuelle Angriffsfallstudien, die anhand von Beispielen aus der Praxis zeigen, wie diese Schwachstellen ausgenutzt wurden, und so Sicherheitsexperten dabei helfen, die Risiken von KI-Anwendungen zu verstehen und zu mindern.
OWASP Top Ten der ML-Angriffe beinhalten kritische Sicherheitsrisiken im Zusammenhang mit maschinellen Lernsystemen, einschließlich Schwachstellen wie Data Poisoning und Modellinversion. Jeder Eintrag enthält Beschreibungen, Beispiele und aktuelle Fallstudien, um die Auswirkungen auf die reale Welt zu verdeutlichen. Diese Informationen dienen als wichtiger Leitfaden für Unternehmen, um Best Practices bei der Entwicklung und dem Einsatz von KI-Technologien zu implementieren und letztendlich die Sicherheitslage zu verbessern. Der Originalbeitrag enthält eine Liste der zehn wichtigsten Sicherheitsrisiken im Zusammenhang mit Systemen für maschinelles Lernen.
Der zweite Teil der Analyse beinhaltet einen Beispielangriff auf AWS KI-Services und soll aufzeigen, wie Fehlkonfigurationen und Sicherheitslücken in Amazon SageMaker- und Bedrock-Bereitstellungen die ML-Pipeline gefährden können. Schließlich umfasst der Beitrag auch Sicherheitsempfehlungen für KI-Anwendungen.