Cyberbedrohungen
Die Marschrichtung für KI 2025
Eine Analyse der Vorkommnisse, Technologieankündigungen und Regulierungsbemühungen im Bereich KI im abgelaufenen Jahr lässt klare Rückschlüsse für die nähere Zukunft zu, etwa beim Thema agentengestützte KI oder für weitere Regulierungen.
Save to Folio
2024 könnte als das Jahr in die Geschichte eingehen, in dem KI aufhörte, eine technologische Novität zu sein, und in dem sie zu einem Fakt unseres Lebens wurde. Große Namen wie Microsoft, Salesforce und Intuit bauten KI in Unternehmenslösungen ein, es entstanden spezialisierte KI-Apps und -Dienste für alles, vom Werbetext bis zur Datenanalyse, und Regierungen, Denkfabriken und Regulierungsbehörden bemühten sich, sinnvolle Leitlinien für die KI-Entwicklung und -Nutzung zu schaffen. Dabei fanden auch böswillige Akteure neue Wege, um mit KI-Tools zu täuschen, einzuschüchtern und zu erpressen.
KI entwickelt sich in Sprüngen
Autonome, kooperative, maschinenbasierte Problemlösungen werden weithin als wesentlicher Schritt auf dem Weg zur allgemeinen künstlichen Intelligenz angesehen. Alle großen KI-Akteure hoben 2024 ihre Forschungs- und Entwicklungsanstrengungen im Bereich der agentenbasierten Intelligenz hervor - und auch Nicht-KI-Akteure wollen AI-Agenten als Dienstleistung (AIAaaS) anbieten.
Eine der großen Releases des agentbasierten Bereichs war die öffentliche Beta-Version von Computer Use für das Claude 3.5 Sonnet-Modell von Anthropic. Die Lösung ermöglicht es, einen Computer zu benutzen, indem der Nutzer auf den Bildschirm „schaut“, um den Cursor zu bedienen, auf Links zu klicken und Text einzugeben. Auch andere Entwickler arbeiten an web-starken Agenten, doch hohe Leistung stellt eine weithin anerkannte Herausforderung dar. Das Forschungsunternehmen ServiceNow will dies mit seinem AgentLab-Angebot ändern. Es geht um ein Open-Source-Python-Paket, das im Dezember auf den Markt kam und mit dem groß angelegte Webagenten-Experimente parallel in verschiedenen Online-Umgebungen durchgeführt werden können.
Von RAGs zu KI
KI-Systeme benötigen relevante Daten, um Probleme effektiv zu lösen. Die Retrieval Augmented Generation (RAG) bietet diese Möglichkeit, indem sie den Systemen Zugang zu kontextuell bedeutsamen Informationen anstelle von breiten, nicht fokussierten Datensätzen gibt. Es hat sich gezeigt, dass RAG für sich allein genommen KI-Halluzinationen reduziert und alternative Ansätze übertrifft wie Transformatoren für langen Kontext und die Feinabstimmung.
Anthropic kündigte seine eigene Weiterentwicklung von RAG im Herbst an, und zwar mit „kontextbezogenem Retrieval“, das die Informationssuche erfolgreicher machen soll, und einem neuen Model Context Protocol (MCP), mit dem KI-Assistenten zuverlässig und skalierbar mit Datensystemen verbunden werden können.
Doch RAG kommt nicht ohne Risiken. Ungeschützte Vektorspeicher und LLM-Hosting-Plattformen können zu Datenlecks und unautorisiertem Zugriff führen. Sicherheitsprobleme wie Fehler bei der Datenvalidierung und Denial-of-Service-Angriffe (DoS) sind dabei weit verbreitet. Über die Authentifizierung hinaus empfiehlt Trend Micro die Implementierung von Transport Layer Security (TLS)-Verschlüsselung und Zero-Trust-Netzwerken, um unbefugten Zugriff und Manipulation zu verhindern.
Verkleinerung von KI-Modellen
Hand in Hand mit dem Übergang zur agentenbasierten KI geht der Bedarf an kleineren, wendigeren und schnelleren Modellen, die speziell für bestimmte Aufgaben entwickelt werden. Auch da gab es erste Ankündigungen. Im Oktober veröffentlichte Meta Aktualisierungen des KI-Modells Llama, das bis zu viermal schneller und um 56 % kleiner ist als die Vorgängermodelle und anspruchsvolle KI-Funktionen auf Geräten wie Smartphones ermöglicht. Und Nvidia veröffentlichte sein Nemotron-Mini-4B Instruct Small Language Model (SLM), das den VRAM-Bedarf auf etwa zwei GB reduziert und damit wesentlich schneller ist als LLMs.
Kleinere Modelle sind auch energieeffizienter als LLM und erschwinglicher. Das wiederum macht sie einem breiteren Publikum zugänglich. All dies steht im Einklang mit den UN-Zielen für nachhaltige Entwicklung.
Sehen ist nicht mehr glauben
Die meisten Experten sind sich einig, dass KI noch keine völlig neuartigen Bedrohungen hervorbringen kann doch mit Sicherheit bestehende Angriffsvektoren viel wirksamer gemacht - insbesondere groß angelegte, sehr gezielte Phishing-Schemata. Propaganda mithilfe von Deepfake hat ihren Tribut gefordert in dem öffentlichen Diskurs. KI-gestützte Cyberkriminalität kostete Unternehmen Millionen, wenn nicht gar Milliarden. Und Phänomene wie virtuelle Entführungen läuteten eine neue Ära der Erpressung vom eigenen Schreibtisch aus ein.
Die Geschichte eines Angestellten in Hongkong, der 25 Millionen US-Dollar zahlte an Betrüger , weil er glaubte, sein CEO habe ihn dazu aufgefordert - in Wirklichkeit handelte es sich jedoch um einen Video-Deepfake – produzierte Schlagzeilen. Virtuelle Entführungen wurden zu einer realen Bedrohung, indem Deepfake-Medien den Opfern vorgaukelten, dass ihre Angehörigen entführt worden seien und ihnen etwas zustößt, wenn kein Lösegeld gezahlt würde. Und im November stellte Forbes ein neues Deepfake-Tool vor, mit dem die Zwei-Faktor-Authentifizierung umgangen werden kann, so dass Kriminelle unrechtmäßige Konten eröffnen können, um Kredite und Darlehen zu erhalten, staatliche Leistungen zu beantragen und vieles mehr.
Wir finden auch zunehmend „Pig Butchering“-Fälle, eine Form von Anlagebetrug und Romantikbetrug, bei der auch Fake-Bilder und -Portfolios verwendet werden, um Privatpersonen um ihr Geld zu bringen.
Demokratie im Deepfake-Stil
2024 war in vielen Ländern Wahljahr. Auf der Münchner Sicherheitskonferenz im Februar unterzeichneten führende Vertreter der Technologiebranche die Tech-Vereinbarung zur Bekämpfung des betrügerischen Einsatzes von KI bei Wahlen im Jahr 2024. Sie verpflichten sich, schädliche, von KI generierte Inhalte zu bekämpfen, indem sie gemeinsam an Tools zur Erkennung und Intervention, an Bildungsinitiativen und mehr arbeiten.
Trotz des Abkommens prägten Deepfake-Bilder immer wieder die öffentliche Wahrnehmung im Laufe des Jahres bei Wahlen. In den USA zum Beispiel gab es KI-generierte Aufnahmen von Taylor-Swift-Fans, wo sie ihre Unterstützung für den Kandidaten Donald Trump erklärt, oder Darstellungen von Kamala Harris, die eine kommunistische Kundgebung anführt.
Im Dezember wurde bekannt, dass ein rechtsextremer Kandidat in Rumänien durch bezahlte Inhalte auf TikTok gefördert wurde, die gegen die Richtlinien der Plattform und rumänische Gesetze verstießen.
KI-Verordnungen
Angesichts der aktuellen und potenziellen Risiken - einschließlich „bösartiger“ KI-Systeme, die gegen die Interessen der Menschen handeln könnten - unternahmen Regierungen und Regulierungsbehörden Schritte, um die Entwicklung und Nutzung von KI einzuschränken. Einige Beobachter waren der Ansicht, dass die neuen Maßnahmen nicht weit genug gingen; andere argumentierten, sie gingen zu weit und gefährdeten die Innovation.
Der Global Digital Compact (GDC), der Ende September auf dem UN-Zukunftsgipfel verabschiedet wurde, ist ein Framework für die Überwachung von KI und anderen digitalen Technologien. Fünf Ziele werden hier verfolgt:
- Digitale Kluft überbrücken
- Die digitale Wirtschaft integrativ gestalten
- Sicherstellung des Schutzes der Menschenrechte im digitalen Raum
- Förderung einer guten Datenverwaltung
- Verbesserung der "internationalen Governance der künstlichen Intelligenz zum Nutzen der Menschheit".
Die Aufnahme des GDC in den größeren Pakt für die Zukunft der Vereinten Nationen war ein Beweis dafür, dass KI-Sicherheit und digitale Gerechtigkeit auf höchster Ebene als wichtig angesehen werden.
Auch die OECD hat sich zum Thema KI 2024 geäußert. Ihre Expertengruppe für KI-Zukunft veröffentlichte im November einen Bericht über die größten Risiken und politischen Prioritäten. Die nachstehende Tabelle zeigt einige der hervorgehobenen Risiken, wobei raffiniertere Cyberangriffe als das größte Risiko gelten.
RISIKEN |
PRIORITÄTEN |
|
|
Der Mensch steht im Mittelpunkt
Im März verabschiedete die EU ein Gesetz über künstliche Intelligenz, um Sicherheit, grundlegende Menschenrechte und KI-Innovationen zu gewährleisten. Es verbietet bestimmte Anwendungen, die die Menschenrechte bedrohen, z. B. die Verwendung biometrischer Daten zur „Kategorisierung“ von Menschen, den Aufbau von Gesichtserkennungsdatenbanken aus dem Internet und Überwachungsmaterial sowie die Verwendung von KI für Social Scoring, vorausschauende Polizeiarbeit oder menschliche Manipulation.
Im Dezember folgte der Cyber Resilience Act, der Hersteller digitaler Produkte, Softwareentwickler, Importeure, Distributoren und Wiederverkäufer dazu verpflichtet, Cybersicherheitsfunktionen wie Incident Management, Datenschutz und Unterstützung für Updates und Patches einzubauen. Produkthersteller müssen außerdem alle Schwachstellen beheben, sobald sie erkannt werden. Verstöße können zu teuren Strafen und Sanktionen führen.
Ebenfalls im Dezember aktualisierte die EU ihre Produkthaftungsrichtlinie (PLD), um Software einzubeziehen (im Gegensatz zu anderen Rechtsordnungen wie den USA, die Software nicht als „Produkt“ betrachten). Damit haften Softwareunternehmen, wenn sich herausstellt, dass ihre Lösungen Fehler enthalten, die zu Schäden führen, was auch KI-Modelle einschließt.
KI-Regulierung in den USA
Im Oktober veröffentlichte das Weiße Haus sein erstes Nationales Sicherheitsmemorandum zu KI. Das Memorandum forderte „konkrete und wirksame Schritte“, um die Führungsrolle der USA bei der Entwicklung einer sicheren, vertrauenswürdigen KI zu gewährleisten, die nationale Sicherheit der USA durch KI zu verbessern und internationale Vereinbarungen über die Nutzung und Verwaltung von KI voranzutreiben.
Im November gründete das National Institute of Standards and Technology (NIST) eine Arbeitsgruppe - Testing Risks of AI for National Security (TRAINS) -, die sich mit den Auswirkungen der KI auf die nationale Sicherheit und die öffentliche Sicherheit befassen soll. Die Mitglieder von TRAINS vertreten das Verteidigungs-, Energie- und Heimatschutzministerium sowie die National Institutes of Health und werden die koordinierte Bewertung und Prüfung von KI-Modellen in Bereichen von nationalem Sicherheitsinteresse wie radiologischer, nuklearer, chemischer und biologischer Sicherheit, Cybersicherheit und mehr erleichtern.
Ebenfalls im November riefen das Handels- und das Außenministerium erstmals gemeinsam das Internationale Netzwerk der KI-Sicherheitsinstitute ins Leben, das sich mit den Risiken synthetischer Inhalte, der Prüfung von Basismodellen und der fortgeschrittenen KI-Risikobewertung befasst. Auch in Lateinamerika gab es Bemühungen, mit den Risiken durch KI umzugehen.
Kenne deinen Feind
Um KI zu regulieren, ist es wichtig die tatsächlichen Risiken zu kennen. Das OWASP, MIT und andere widmen sich der Aufgabe, KI-Schwachstellen zu identifizieren und detailliert zu beschreiben.
Die LLM-Hitliste von OWASP
Das Open Worldwide Application Security Project (OWASP) hat seine Top-10-Risikoliste 2025 für LLMs veröffentlicht. Wieder dabei sind alte Bekannte wie Prompt-Injection-Risiken, Risiken in der Lieferkette und unsachgemäße Output-Behandlung. Neu hinzugekommen sind Schwachstellen bei Vektoren und Einbettung, Fehlinformationen und nicht eingeschränkter Verbrauch (eine Verkleinerung der früheren DoS-Risikokategorie).
OWASP hat seine Besorgnis auf „exzessive Handlungsfähigkeit“ vor allem wegen der Zunahme halbautonomer Agentenarchitekturen erweitert. „Mit LLMs, die als Agenten oder in Plug-in-Settings agieren, können ungeprüfte Berechtigungen zu unbeabsichtigten oder riskanten Aktionen führen, wodurch dieser Eintrag kritischer denn je ist."
Auch das MIT veröffentlichte ein öffentliches KI-Risiko-Repository mit mehr als 700 Risiken auf der Grundlage von über 40 verschiedenen Rahmenwerken, mit Zitaten und Risikotaxonomien..
KI kann auch Gutes tun
Ebenso wichtig ist es, sich die Vorteile von KI vor Augen zu halten - und eine Reihe von Bemühungen war darauf ausgerichtet, diese positiven Fähigkeiten hervorzuheben.
Den Bösewichten ein Schnippchen schlagen
Der Einsatz von KI zur Entdeckung von Schwachstellen und Exploits wurde viel beachtet. KI ist zwar nicht immer erforderlich, kann aber in Situationen mit hoher Komplexität und vielen Unbekannten hervorragende Ergebnisse liefern. Das Frontier Model Forum stellte fest, dass die Entdeckung von Schwachstellen und deren Patchen ein zunehmender Bereich der KI-Stärke ist, was zum Teil auf die zunehmende Verwendung von Code-Beispielen beim Post-Training und zum Teil auf die Erweiterung von Kontextfenstern zurückzuführen ist. KI kann auch die Sammlung von Open Source-Informationen und die Berichterstattung durch Echtzeitüberwachung und -analyse, Trenderkennung und mehr unterstützen.
Wir sind der Meinung, dass die agentenbasierte KI diese Fähigkeiten durch eine Kombination aus Tools, Daten und Planung erweitern wird. Die Kombination der agentenbasierten Nutzung von Reverse-Engineering-Tools wie Ida, Ghidra und Binary Ninja mit Code-Ähnlichkeit, architektonischer RAG und Algorithmus-Identifikation für kompilierten Code könnte ein mächtiger Hebel im Wettrüsten der Cybersicherheit sein.
Trend nahm am Pariser Friedensforum 2024 teil und kündigte seine Partnerschaft mit dem Forum bei der Entwicklung von Leitlinien für die sichere Einführung und Umsetzung von KI an. Wie Martin Tisné, CEO der AI Collaborative, auf dem Forumstreffen sagte, ist es am wichtigsten, sicherzustellen, dass KI von Anfang an ergebnisorientiert ist, damit ihre Entwicklung und ihr Einsatz mit dem Nutzen für die Gesellschaft übereinstimmen.
Wie geht es weiter?
Aus den KI-Trends 2024 geht klar hervor, dass sich die Innovation nicht so bald verlangsamen wird: Die vollständige agententechnische Revolution steht noch bevor, und mit ihr kommen neue Möglichkeiten für Regulierungsbehörden, neue Fähigkeiten für Cyberkriminelle, die sie zu Waffen machen können, und neue Möglichkeiten für Cyberverteidiger, die digitale Welt proaktiv zu sichern.