Wenn die KI selbst zum Angreifer wird

Innerhalb weniger Wochen haben gleich zwei der führenden KI-Anbieter einräumen müssen, dass ihre eigenen Modelle in echte Systeme eingedrungen sind. Bei OpenAI und Hugging Face verkettete eine Kombination von KI-Modellen selbstständig Schwachstellen, nutzte eine unbekannte Zero-Day-Lücke aus und arbeitete sich – ohne jede Einsicht in den Quellcode – bis zur Ausführung von fremdem Code auf der Produktionsinfrastruktur von Hugging Face vor. Kurz darauf berichtete Anthropic von einem ähnlichen Fall: In Testläufen drangen drei Claude-Modelle ungeplant in die Systeme dreier realer Unternehmen ein, nachdem eine Fehlkonfiguration die isolierte Testumgebung mit dem Internet verbunden hatte. Aufgefallen ist das erst bei der nachträglichen Auswertung von über 141.000 Läufen. In einem Fall schrieb ein Modell sogar Schadsoftware und stellte sie öffentlich bereit.

Für uns in der offensiven Security ist das keine Überraschung, sondern eine Bestätigung. Jetzt ist es nur dokumentiert und real – und ausdrücklich kein Problem eines einzelnen Anbieters, sondern das neue Normal.

Nichts Neues – nur viel schneller

Die Angriffsmuster sind nicht neu. Neu ist das Tempo. KI verschiebt die Ökonomie des Angriffs: Was früher Spezialwissen und Wochen gebraucht hat, läuft heute automatisiert in Minuten – so anfängerfreundlich, dass man dafür nicht mehr die großen Skills braucht. Daraus entsteht eine gefährliche Asymmetrie. Angreifer finden mit KI rasend schnell Schwachstellen, auch Zero-Days ohne Patch. Laut BSI vergehen im Schnitt 73 Tage, bis überhaupt ein Patch bereitsteht – wer alle 14 Tage einen Patch-Day fährt, ist strukturell zu langsam. Und der Angreifer braucht nur eine offene Tür; er automatisiert Zehntausende Versuche pro Stunde.

Das Problem sitzt oft tiefer: Vielen Organisationen fehlen die Basics – ein klares Bild der eigenen Anwendungen und Prozesse. Ich vergleiche Sicherheit gern mit einem Haus: Die beste Eingangstür nützt nichts, wenn die Hintertür offen steht oder der Schlüssel unter der Fußmatte liegt. Sicherheit funktioniert nur ganzheitlich – die Kette ist nur so stark wie ihr schwächstes Glied.

Souveränität heißt handlungsfähig sein

In der Debatte um digitale Souveränität geht es oft um Serverstandorte. Der Kern ist aber ein anderer: handlungsfähig sein – und das ist man nur, wenn man vorbereitet ist. Das beginnt mit zwei Schritten. Erstens Transparenz: Wo stehe ich, und wo sind meine größten Lücken? Zweitens Priorisierung: Weil Ressourcen begrenzt sind, konzentriere ich mich auf das Kritische – auf genau die Stellen, an denen ein Angreifer eine Verkettung von Schwachstellen ausnutzen könnte. Die gute Nachricht: KI hilft auch dem Verteidiger, diese kritischen Punkte schneller zu finden.

AttackAI: mit denselben Karten spielen

Genau hier setzt AttackAI an. Wenn Angreifer KI als Waffe nutzen, müssen wir dieselbe Effizienz für unsere eigenen Angriffe nutzen. Wir haben unser Red Team so ausgestattet, dass wir mit KI-Modellen gezielte Angriffe auf Systeme, Infrastrukturen und Rechenzentren fahren – mit denselben, bzw. Teils besseren, Karten wie die Angreifer. Das schafft noch keine Sicherheit, aber eine ehrliche Momentaufnahme: Wo stehen Türen und Fenster offen? Daraus wird ein Leitfaden für die Verteidigung.

Als gelernter Softwareentwickler weiß ich: Schwachstellen entstehen oft direkt im Sourcecode. Deshalb ist unser bevorzugter Ansatz der White-Box-Test inklusive Quellcode-Analyse. Der Hugging-Face-Vorfall ist hier lehrreich: Die Modelle kamen sogar ohne Quellcode-Zugriff bis zur Codeausführung. Wenn ein Angreifer das von außen schafft – wie viel gründlicher können wir sein, wenn wir bewusst zuerst in den eigenen Code schauen?

Kontrolle ist der Unterschied

Und ja: Was in diesen Evaluationen schiefgegangen ist, ist im Kern unser eigenes Handwerk. Genau deshalb nehmen wir dieses Risiko sehr ernst. Der Unterschied zwischen einem entgleisten Testlauf und verantwortungsvoller offensiver Security liegt nicht im Werkzeug, sondern in der Kontrolle darüber.

Was dort geschah – dass eine KI ihre Grenzen verlässt, unbeteiligte reale Systeme trifft oder Schadsoftware in Umlauf bringt –, ist bei einem AttackAI-Einsatz durch unser Vorgehen ausgeschlossen. Wir greifen ausschließlich vertraglich autorisierte, klar umrissene Kundensysteme an; ein fiktives Ziel, das versehentlich real wird, gibt es nicht. Der Mensch steuert, die Agenten liefern – wir überwachen die Angriffe, statt sie unbeaufsichtigt laufen zu lassen. Wir arbeiten in hoch reguliertem Umfeld; die Ergebnisse bleiben in einem kontrollierten Bericht. Und der Datenschutz, gerade für KRITIS und Gesundheitswesen: Ein echter Angreifer schert sich nicht darum, wir schon – vertrauliche Informationen verlassen nie das eigene Netz und sind auf besonders geschützter Hardware.

Jetzt handeln – aber richtig

Mit KI sind wir in einer neuen Generation der Cybersicherheit. Angriffe werden massiv zunehmen – anfängerfreundlicher und zugleich effizienter als je zuvor. Das ist kein Thema, bei dem man den Kopf in den Sand steckt, sondern jetzt handelt, solange wir noch agieren und nicht nur reagieren. Aber: AttackAI ist ein erster, scharfer Blick, nicht die ganze Antwort. Nichts ersetzt eine umfassende Sicherheitsinfrastruktur samt vorgedachter Notfall-Playbooks.

Nehmen Sie KI-gestützte Angriffe nicht auf die leichte Schulter. Der richtige Weg ist, wie der Angreifer zu denken, bevor der Angreifer es tut – und handlungsfähig zu bleiben. Genau dafür haben wir AttackAI gebaut.

Quellen:

OpenAI & Hugging Face zum Vorfall (21.07.2026): openai.com/de-DE/index/hugging-face-model-evaluation-security-incident

heise online zur OpenAI/Hugging-Face-Meldung: heise.de/news/KI-Modelle-von-OpenAI-haben-Cyberangriff-auf-Hugging-Face-autonom-ausgefuehrt-11372797.html

Anthropic zu drei Vorfällen in Cyber-Evaluationen: anthropic.com – „Investigating three real-world incidents in our cybersecurity evaluations“

tagesschau.de zum Anthropic-Vorfall: tagesschau.de/wirtschaft/digitales/anthropic-ki-angriff-unternehmen-100.html