Von KI-gestützten Cyberangriffen und Modell-Ausbrüchen

Check Point Research (CPR) hat in einem neuen Bericht KI-Zwischenfälle aus den Monaten Juli und August analysiert. Dabei wurden sowohl die Ausbrüche von Testmodellen bekannter KI-Anbieter als auch KI-gesteuerte Angriffe von Cyberkriminellen untersucht und das Unternehmen informiert über Ursachen, Abläufe und Folgen dieser Fälle.

Wie KI-Modelle ihrer Testumgebung entkamen

In einer Pressemitteilung verweist Check Point zunächst auf den kürzlich bekannt gewordenen Vorfall bei OpenAI. Deren Modell war eigentlich auf eine isolierte Testumgebung beschränkt, die nur mit einem internen Paket-Proxy verbunden war. Es entdeckte und nutzte jedoch völlig eigenständig eine bisher unbekannte Schwachstelle in diesem Proxy aus. So konnte es aus der Isolierung ausbrechen und die Produktionssysteme von Hugging Face erreichen. Was entstand, war eine Verkettung unabhängiger Aktionen, die Forscher später auf etwa 17.600 Schritte rekonstruierten. Die Evaluierungsumgebung von Anthropic wiederum war versehentlich über das Internet erreichbar. So konnten die Testmodelle Anmeldedaten sammeln und eine Produktionsdatenbank auslesen.

Die Security-Experten nennen zudem das Beispiel Meta und eine ähnliche Sicherheitslücke durch eine Fehlkonfiguration eines externen Evaluierers. Sie verweisen darüber hinaus auf das britische AI Security Institute, laut dem Agenten in 122 kontrollierten Durchläufen 19 unbefugte Aktionen durchführten. Darunter war ein Fall, in dem ein Agent gefälschte Identitäten erstellte, um einen echten Open-Source-Entwickler davon zu überzeugen, bösartigen Code zu genehmigen.

Angriffe auf und mit KI

Zwar erklärt Check Point, dass die kriminelle Nutzung von KI dieses Maß an Autonomie zwar noch nicht erreicht habe, es aber bereits gefährlich genug sei, wozu Cyberkriminelle imstande sind. Zudem werden sie dabei immer kreativer. Gambit Security dokumentierte etwa, dass ein Partner der Ransomware-Gruppe ‚The Gentlemen‘ Claude-Code gegen mindestens sechs Organisationen einsetzte: Dabei wählte er ein älteres, weniger eingeschränktes Modell aus und eröffnete bei jeder Ablehnung eine neue Session, um die Autorisierung durchzusetzen. Daraufhin führte das Modell den Angriff eigenständig durch. Jadepuffer ging noch einen Schritt weiter und führte eine komplette Erpressung eigenständig durch, sobald ein Mensch den Vorgang gestartet hatte.

Check Point erklärt zudem, dass auch KI-Modelle selbst das Ziel krimineller Machenschaften werden können und verweist auf KI-Agenten für Coding und Unternehmens-Copiloten, die Dateien, Pull-Anfragen und geteilte Inhalte meist als vertrauenswürdige Eingaben lesen. Genau dieses Vertrauen ist nun ein neuer Einstiegspunkt. GhostApproval ermöglicht es beispielsweise einem verseuchten Repository, mithilfe symbolischer Links einen Agenten dazu zu bringen, Dateien außerhalb seines Arbeitsbereichs zu schreiben. Laut Check Point waren davon Googles Gemini CLI und Anthropics Claude Code betroffen, die beide Patches für CVEs benötigten, die durch ein böswilliges GitHub-Issue ausgelöst werden konnten. Die Suchfunktion von Microsoft 365 Copilot nennt der Security-Spezialist als weiteren Fall, bei dem Unternehmensdateien über einen einzigen manipulierten Link preisgegeben werden konnten. Forscher demonstrierten eine sich selbst verbreitende Prompt-Injektion in Microsoft Words Copilot. Auch die zugrunde liegende Lieferkette war ein Ziel: Mehr als 140 Mastra-AI-Framework-Pakete wurden mit Trojanern versehen, was Check Point zufolge der nordkoreanischen Gruppe ‚Sapphire Sleet‘ zugeschrieben wurde. Bösartige LiteLLM-Veröffentlichungen legten laut Berichten Anmeldedaten von 2.500 Unternehmen offen.

Angreifer lernen zunehmend, den Entscheidungsprozess einer KI selbst zu manipulieren. Da Unternehmen immer mehr Aufgaben an Agenten und Copiloten delegieren, spricht Check Point von einer Verlagerung der Sicherheitsherausforderungen vom Schutz der Systeme hin zum Schutz des maschinellen Urteilsvermögens. Demnach sind Vertrauenswürdigkeit und Widerstandsfähigkeit ebenso wichtig wie die Modellleistung.

Schwachstellensuche per KI sorgt hohe Patch-Zahlen

Check Point beruft sich zudem auf das britische NCSC (National Cyber Security Centre), das vor einer bevorstehenden ‚Patch-Welle‘ warnte, da die KI-gestützte Schwachstellensuche zunimmt. Dazu liefert Check Point folgende Zahlen: Das Juli-Update von Microsoft enthielt 570 Korrekturen, das von Oracle sogar mehr als 1.400.

Doch die schnellere Entdeckung hat nicht zu mehr erfolgreichen Angriffen geführt. Check Point zufolge wurden nur etwa ein Prozent der durch KI entdeckten Schwachstellen als ausgenutzt gemeldet. Der Engpass hat sich vom Auffinden der Schwachstelle hin zur Anwendung des Patches auf Kundensystemen verlagert. Schwachstellen sind also nicht mehr schwer zu finden. Wie weiter betont wird, werden sie stattdessen immer zahlreicher. Daher sei es umso wichtiger, dass Anbieter Patches schnell bereitstellen. Die Geschwindigkeit beim Installieren von Patches und die automatisierte Behebung könnten für die Widerstandsfähigkeit eines Unternehmens letztlich wichtiger sein als die reine Anzahl der Schwachstellen.

KI-Angriffe in Maschinen-Geschwindigkeit verhindern

Laut Check Point barg jede 36. Eingabe, die im Juli an generative KI-Tools gesendet wurde (etwa 2,8%), ein hohes Risiko für den Verlust sensibler Daten, und 88% der Unternehmen verzeichneten in diesem Monat mindestens eine Eingabe mit hohem Risiko. Zudem erfordern Modelle, die in Maschinengeschwindigkeit Angriffe durchführen, Reaktionszeiten, bei denen menschliche Verteidiger nicht mithalten können.

Für die Absicherung der KI-Transformation in Unternehmen empfiehlt der Security-Spezialist daher die Sicherung des gesamten Stacks und rät zu folgenden Schritten:

• Transparenz über die KI-Nutzung der Belegschaft schaffen: Unternehmen sollten in Echtzeit nachvollziehen können, welche GenAI-Tools Mitarbeiter tatsächlich im Arbeitsalltag nutzen, und für diese Tools Governance- und Datenschutzregeln durchsetzen. Denn genau solche Tools werden auch von Angreifern wie der ‚Gentlemen‘-Gruppe als Einfallstor genutzt.
• KI-Anwendungen und -Agenten im Unternehmen laufend überwachen: Von der Erkennung bis zur Durchsetzung zur Laufzeit sollten Schutzmaßnahmen gegen Prompt-Injections und unsichere Aktionen etabliert werden, um genau die Lücken zu schließen, die in bekannten Fällen bereits ausgenutzt wurden.
• Zugriff über MCP und andere Tool-Schnittstellen kontrollieren: Es muss klar geregelt sein, wie Modelle und Agenten mit Unternehmensdaten und -tools interagieren dürfen.

KI-Systeme regelmäßig auf Schwachstellen testen: Adversariale Testmethoden, wie sie auch von KI-Laboren selbst zur Bewertung eingesetzt werden, helfen dabei, Schwachstellen zu identifizieren, bevor Angreifer sie finden.