KI-Sicherheitsrisiken entstehen durch die Implementierung und/oder Nutzung von KI-Technologie. Hierzu gehören auch von böswilligen Akteuren initiierte Cyberattacken und Schwachstellen, die sich aus der Plattform und/oder dem Verhalten der Anwender ergeben.
Das Open Worldwide Application Security Project (OWASP) hat eine Reihe von Schwachstellen im Zusammenhang mit KI identifiziert, die auf Large Language Models (LLMs) basieren. Hierzu gehören:
Diese Schwachstellen können in folgende zentrale Kategorien eingeteilt werden:
KI hängt in hohem Maße von den verfügbaren Daten und den Anwendereingaben ab. Daher wird sie immer häufiger zum Ziel böswilliger Akteure, die digitale Abwehrmechanismen durchbrechen und vertrauliche Informationen abgreifen. Eine aktuelle Gartner®-Umfrage hat im ersten Quartal 2024 die fünf am häufigsten genannten neuen Risiken ermittelt. Die beiden ersten Plätze belegen KI-bezogene Risiken in Form KI-gestützter bösartiger Angriffe und KI-gestützter Desinformation. Gartner merkt an, dass die KI-Verbesserung Phishing und Social Engineering vereinfachen kann. Sie erleichtert das Eindringen, verbessert die Glaubwürdigkeit und ermöglicht schädlichere Angriffe.
Von Rogue AI spricht man, wenn eine KI gegen die Ziele des Anwenders agiert. Diese fehlerhafte Ausrichtung kann unbeabsichtigt herbeigeführt werden, wenn beispielsweise keine geeigneten Leitplanken vorhanden sind. Sie kann aber auch vorsätzlich herbeigeführt werden. In diesem Fall versuchen böswillige Akteure möglicherweise, das KI-System bzw. die KI-Nutzung ihres Ziels zu unterwandern. Oder sie versuchen, böswillig ausgerichtete KI-Modelle in einer Umgebung zu installieren.
Bei der Betrugsautomatisierung werden synthetische Text-, Audio- und/oder Videoinhalte erstellt. Diese nutzen durch Phishing, Business Email Compromise (BEC) oder Deepfake-Videos oder -Audios Geschäftsprozesse aus. Betrugsautomatisierung lässt sich mit KI problemlos skalieren.
KI-Systeme sind datenabhängig. Daher müssen die in KI-Systemen verwendeten Daten sowie alle Live-Daten, mit denen sie in Kontakt kommen, sämtliche Vorschriften für den Datenschutz und die angemessene Verwendung erfüllen. Daraus ergibt sich die Notwendigkeit einer proaktiven und effektiven Data Governance, die zur Risikominimierung beiträgt.
Die kritischsten Schwachstellen im Zusammenhang mit LLMs werden in den OWASP Top 10 aufgeführt:
Eine Übersicht dieser Schwachstellen finden Sie auf der OWASP-Internetseite.
Generative KI (GenAI) nutzt verfügbare vergangene und gegenwärtige Daten, um Anwender zu unterstützen. Daher sollten Sie bei Tools, die ein Prompting erfordern, sorgfältig und proaktiv darüber nachdenken, was Sie als Prompt eingeben. Einige Tools bieten Anwendern die Möglichkeit, die Datenerfassung zu deaktivieren. So bietet beispielsweise ChatGPT die Option, den Chatverlauf zu deaktivieren. Abhängig von den für die jeweilige Branche geltenden KI-Regulierungen und -Nutzungsrichtlinien können solche Präventivmaßnahmen und/oder Verhaltensweisen eine Compliance-Voraussetzung bilden.
Wenn Finanzinformationen, vertrauliche Angaben zu noch unveröffentlichter Software, personenbezogene Daten wie Privatadressen und Kontaktdaten und/oder andere sensible Daten eingegeben werden, führt dies dazu, dass die KI-Anwendung freien Zugriff auf diese Informationen erhält. Die Gefahr besteht, dass diese Daten manipuliert werden, durch das Tool bei ähnlichen Abfragen als Empfehlung an andere weitergegeben und/oder durch böswillige Akteure gestohlen werden, falls die Maßnahmen für den Schutz der KI durchbrochen werden. Dieses Risiko besteht insbesondere dann, wenn zur Unterstützung der Ideenfindung oder für das schnelle Zusammenstellen großer Datenmengen generative KI-Tools eingesetzt werden. Die Gefahr besteht insbesondere dann, wenn keine ausreichenden Verschlüsselungs- und Sicherheitsmaßnahmen etabliert sind.
Als eine Form generativer KI, die textbasierte Antworten auf Anwender-Prompts liefert, kann ChatGPT von böswilligen Akteuren dahingehend manipuliert werden, dass es Phishing-Versuche verschleiert und/oder verstärkt. Alternativ kann auch die Plattform als solche zum Ziel von Angriffen werden, die Zugriff auf Anwenderdaten erhalten und diese potenziell missbrauchen wollen. Dazu gehört beispielsweise das Verfassen von Phishing-E-Mails unter Verwendung von Textproben des angegriffenen Unternehmens oder der angegriffenen Person. Dazu gehört auch die Korrektur von Tippfehlern, der Grammatik und der Ausdrucksweise, um überzeugender zu wirken. Außerdem besteht die Gefahr des Diebstahls von Anwenderdaten und/oder von Verstößen durch Prompt Injection oder Jailbreaking.
Weitere Sicherheitsrisiken können sich auch aus der Nutzung ergeben, ohne direkte Beteiligung böswilliger Akteure. So können beispielsweise Informationen, die Sie ChatGPT bereitstellen, zum Trainieren von LLMs genutzt werden. Darüber hinaus besteht das Risiko unzureichender Datenverschlüsselung, wie die Tatsache belegt, dass die MacOS-App von ChatGPT Anwenderchats ursprünglich im Klartext gespeichert hat.
Die OpenAI-API als solche bietet das Potenzial, zum Ziel von Cyberkriminellen zu werden. Auch wenn sie SOC-2-konform ist und regelmäßigen Penetrationstests unterzogen wird, besteht ein konstantes Risiko, da sich Cyberbedrohungen ständig weiterentwickeln. In einem aktuellen Artikel von Soft Kraft werden die Datensicherheitsrisiken von OpenAI detailliert untersucht und fünf Risiken vorgestellt, die für Unternehmensanwender von besonderem Interesse sind:
Dank der Unterstützung für Microsoft 365-Anwendungen ist Microsoft Copilot AI für Anwender sofort verfügbar. Darüber hinaus werden die neuesten PCs der Marke Copilot+ auf Hardwareebene mit dedizierten physischen Copilot-Tasten ausgeliefert, die eine noch schnellere Anwendereingabe ermöglichen. Genau wie bei anderen generativen KI-Tools können diese optimierten Zugriffsmöglichkeiten Sicherheitsrisiken mit sich bringen, wenn darüber vertrauliche Informationen für Copilot zugänglich gemacht werden. Auch wenn Berechtigungen nicht korrekt festgelegt wurden oder wenn für KI-generierte Dokumente nicht die passenden Datenschutzeinstellungen aktiviert wurden, kann dies zum Abfluss vertraulicher Daten und/oder zu Datenschutzverletzungen führen. Dasselbe gilt für die Verwaltung des Anwenderzugriffs. Letztlich könnten Angriffe auf die Plattform als solche böswilligen Akteuren die Möglichkeit eröffnen, die Art und Weise zu ändern, wie der Zugriff auf Ihre Daten und deren Freigabe erfolgt.
Weiterführende Forschung
Weiterführende Artikel