OpenAI-Sicherheitsvorfall: Wenn AI sich verselbstständigt

Der Sicherheitsvorfall bei OpenAI, bei dem ein Artificial Intelligence (AI)-System eine isolierte Testumgebung überwand, sich Zugang zum Internet verschaffte und anschließend die Infrastruktur eines fremden Unternehmens angriff, malt ein dystopisches Bild ähnlich wie Skynet.

Wir ordnen ein, was passiert ist, ob sich Unternehmen nun vor solchen AI-Systemen fürchten müssen und was Sie tun können, um ihre Systeme zu schützen.

AI-System bricht aus isolierter Umgebung aus

OpenAI, das Unternehmen hinter ChatGPT, führte kürzlich einen sogenannten Benchmark, also einen Leistungstest, mehrerer neuer Frontier-Modelle durch. OpenAI nennt dabei unter anderem GPT-5.6 Sol sowie ein noch leistungsfähigeres Vorabmodell. Die Einschränkungen der Modelle wurden dabei für Evaluationszwecke gezielt reduziert – die Modelle sollten sich beim Benchmark "ExploitGym" beweisen und zeigen, wie gut sie Schwachstellen in funktionsfähige Exploits, also Angriffswerkzeuge, überführen können. 

Hierbei kam es jedoch zu unerwartetem Verhalten: Die Modelle fanden laut OpenAI eine bis dahin unbekannte Schwachstelle – eine sogenannte Zero-Day-Lücke – im Cache-Proxy für die verwendeten Paketquellen. Anschließend breitete sich das AI-System lateral im Netzwerk aus, um schließlich Internetzugang zu erlangen. Mit diesem Internetzugang suchten die Modelle selbstständig nach einem Weg, auf Informationen der AI-Plattform Hugging Face zuzugreifen. Dabei kombinierten sie laut OpenAI mehrere Schwachstellen, um die Systeme von Hugging Face anzugreifen.

Naheliegend ist daher die Annahme, dass die Modelle einen eigenen Willen oder ein Bewusstsein entwickelt haben, um, so könnte es scheinen, andere Systeme willkürlich anzugreifen. 

Betrachtet man den Vorfall und das, was wir öffentlich wissen, näher, wird jedoch schnell klar, wie es dazu kam: Die Modelle waren damit beauftragt, möglichst gut im ExploitGym-Benchmark abzuschneiden. Large Language Models (LLMs) können sehr leistungsfähig darin sein, ein vorgegebenes Ziel konsequent zu verfolgen – in einigen Fällen auf eine ausgesprochen kreative Art und Weise. Genau genommen verfolgten die Modelle mit dem Angriff auf Hugging Face das Ziel, an mögliche Modelle, Datensätze und Testlösungen des Benchmarks zu gelangen, um so ein möglichst gutes Ergebnis im Test zu erzielen. Ähnlich wie ein Schüler, der versucht, sich in einer Klausur mithilfe eines Spickzettels einen Vorteil zu verschaffen.

Risiken und Bedrohungslage durch AI

Die durch diesen Vorfall ans Tageslicht getretenen Fähigkeiten sind kein Einzelfall. Bereits im April berichtete Anthropic über die Cyberfähigkeiten seines Frontier-Modells Claude Mythos Preview. In kontrollierten Tests identifizierte das Modell bislang unbekannte Schwachstellen in Betriebssystemen und Webbrowsern und nutzte diese aus.

Der jüngste Vorfall verdeutlicht damit einmal mehr, dass LLMs in offensiven IT-Sicherheitsdisziplinen Fähigkeiten erreichen, die bislang nur hochspezialisierten Experten vorbehalten waren. Dies spiegelt sich auch in der steigenden Zahl der öffentlich dokumentierten IT-Sicherheitslücken wider. Parallel dazu nehmen die Zeit und die Fähigkeiten, die benötigt werden, um komplexe Schwachstellen auszunutzen, dramatisch ab.

Die ENISA beschreibt, dass sich das Zeitfenster zwischen der Entdeckung und Ausnutzung einer Schwachstelle von Jahren über Monate auf potenziell nur noch Stunden oder Minuten verkürzt. Der Abstand zwischen der Entdeckung einer Schwachstelle und ihrer praktischen Ausnutzung nähert sich damit zunehmend null. Das erweitert nicht nur den Kreis potenzieller Angreifer und ihre Möglichkeiten. Auch mangelnde technische Maßnahmen zur Einschränkung offensiver AI-Agenten können schnell zu unerwünschtem und unkontrolliertem Verhalten führen. Längst gibt es zudem erste Hinweise auf AI-getriebene Ransomware-Angriffe.

Ein rein dystopisches Bild zu zeichnen wäre jedoch unvollständig.

Die Fähigkeiten von LLMs können gezielt eingesetzt werden, um Schwachstellen mit einer nie zuvor erlebten Effektivität sowohl in der Breite als auch in der Tiefe zu identifizieren. Genau das können Verteidiger einsetzen, um Schwachstellen in ihren Systemen zu ermitteln und zu schließen, bevor Angreifer dieselbe Technologie gegen die Verteidiger anwenden.

So kommt auch OpenAI in einem Statement zu dem Schluss, dass AI-Systeme Sicherheitsteams dabei helfen müssen, Schwachstellen vor Angreifern zu finden, Angriffsketten zu verstehen und Probleme zu beheben.

Penetrationstests mit AI

Wir bei der SySS beschäftigen uns intensiv mit den Möglichkeiten und Chancen, AI gezielt, sinnvoll und sicher in Penetrationstests einzusetzen. So entwickeln wir eigene agentische Systeme und stellen durch umfassende, technisch erzwungene Maßnahmen sicher, dass sich der Agent im Rahmen des Penetrationstests und der definierten Ziele bewegt. 

Bei AI-getriebenen Penetrationstests ist es wichtig, nicht nur möglichst viele Schwachstellen ausfindig zu machen, sondern auch sicherzustellen, dass die Anforderungen an ein professionelles Pentest-Projekt eingehalten werden.

Neben dem bereits angesprochenen Scope, also den involvierten Testgegenständen und Testzielen, umfasst dies beispielsweise auch die Berücksichtigung eines Rollenkonzepts, eines anwendungsspezifischen Bedrohungsmodells (Threat Model), das Aussprechen sinnvoller und empfohlener Härtungsmaßnahmen sowie die Anfertigung eines qualitätsgesicherten Pentest-Berichts. So haben wir unsere jahrzehntelange Erfahrung genutzt, um den Pentest-Agenten Erebus Strike zu entwickeln, der im Rahmen von Webapplikations- und Webservicetests eingesetzt werden kann.

Mithilfe von Erebus Strike sind wir in der Lage, die Fähigkeiten eines LLM gezielt einzusetzen und ein professionelles Ergebnis bereitzustellen.