Risiken und Chancen von Künstlicher Intelligenz: Was IT-Sicherheitsverantwortliche jetzt wissen müssen

Künstliche Intelligenz (KI) ist kein Experiment mehr, sie ist längst in Geschäftsprozesse integriert. Sie trifft Vorentscheidungen – beispielsweise bei Kreditvergaben und Versicherungen –, bereitet Informationen auf – etwa im Kundensupport durch die Zusammenfassung vorhandener Dokumente – und kommuniziert sogar direkt mit Kundinnen und Kunden – etwa über klassische Chatbots.

Wir von SySS sehen im Unternehmensumfeld nicht nur immer häufiger KI-Applikationen im Einsatz, sondern wir beschäftigen uns auch selbst umfassend mit KI. Zum Beispiel haben wir seit einiger Zeit lokale open-weight Large Language-Modelle (LLMs) für unsere Mitarbeiterinnen und Mitarbeiter im Einsatz. Zum einen können wir dadurch unsere Pentests effizienter gestalten – etwa durch das Generieren von Proof-of-Concept-Angriffen –, zum anderen garantieren wir durch den lokalen Betrieb gleichzeitig, dass die Daten unserer Kundinnen und Kunden geschützt bleiben.

Neben dem "normalen" Einsatz von LLMs als Chatbot etwa wie ChatGPT beschäftigen wir uns natürlich auch umfassend mit Sicherheitstests von KI-Applikationen. Hierfür gibt es inzwischen zahlreiche Ressourcen, darunter das NIST AI Risk Management Framework, das ISO/IEC 42001:2023 Information technology – Artificial intelligence – Management system – das beispielsweise von AWS im Rahmen seines AI-Lifecycle-Risk-Managements übernommen wurde – sowie das MITRE Adversarial Threat Landscape for Artificial-Intelligence Systems (ATLAS).

Neue Technologie, neue Angriffsfläche

Seit Kurzem veröffentlicht die Open Worldwide Application Security Project (OWASP) Foundation den AI Testing Guide (AI-TG), eine renommierte und von SySS hochgeschätzte Ressource zum sicheren Einsatz von KI-Technologien. Bei SySS haben wir diesen Leitfaden von Anfang an aktiv verfolgt, in unsere eigene Methodik integriert und darüber hinaus gezielt erweitert, um im Bereich KI-Sicherheit maßgeblich mitzugestalten. So stellen wir sicher, dass unsere Penetrationstests von KI-Anwendungen nicht nur aktuell, sondern zukunftsweisend und methodisch fest fundiert bleiben.

Der OWASP AI-TG nennt nicht nur verschiedene Angriffsvektoren gegen KI-Anwendungen, sondern er fächert auch die vier Ebenen im Lebenszyklus einer KI-Anwendung auf, die erstmals im Google Secure AI Framework (SAIF) eingeführt wurden. Dabei werden im OWASP AI-TG für jede dieser Ebenen eigene Bedrohungen, Verantwortlichkeiten und Investitionsbedarfe detailliert aufgezeigt. Für IT-Sicherheitsverantwortliche und Führungskräfte bedeutet das aus Sicht der SySS: Nur wer alle Ebenen im Blick hat, kann KI sicher, zuverlässig und konform zu geltenden Gesetzen und Regelungen betreiben. Daher möchten wir in diesem Beitrag die vier Ebenen von Googles SAIF – Datenebene, Infrastrukturebene, Modellebene und Anwendungsebene – vorstellen und aus Sicherheitssicht beleuchten.

KI sicher betreiben, auf allen Ebenen

Generell können die vier Ebenen thematisch in "Modell-Erzeugung" – mit Datenbasis und Infrastruktur – und "Modell-Nutzung" – bestehend aus Modell und Anwendung – gruppiert werden. Für Betreiber verschiedener KI-Anwendungen sind die jeweiligen Gruppen unterschiedlich relevant: Wer ein fertig trainiertes Modell eines KI-Anbieters nutzt, gehört zur Modell-Nutzungs-Gruppe; wer Modelle trainiert und für andere bereitstellt, gehört zur Modell-Erzeugungs-Gruppe. Wird eine KI-Anwendung Ende-zu-Ende entwickelt und bereitgestellt – werden also Daten gesammelt, Modelle trainiert und ausgeführt sowie in eine Applikation eingebettet –, so ist die KI-Anwendung beiden Gruppen zuzuordnen. In diesem Fall sind die Risiken aller vier Ebenen des KI-Lebenszyklus relevant. Im Folgenden möchten wir die nach dem OWASP AI-TG identifizierten Risiken für die in Googles SAIF eingeführten Ebenen vorstellen und für jede Ebene die jeweiligen Risiken, ihre Relevanz für IT-Sicherheitsverantwortliche sowie den daraus ableitbaren Handlungsraum aufzeigen.

Datenebene

Jedes KI-System ist nur so gut wie die zugrunde liegende Datenbasis, und das Erstellen dieser Datenbasis ist oft der mühsamste und anspruchsvollste Schritt im Lebenszyklus einer KI-Anwendung. Daher können Fehler, die an dieser Stelle entstehen, die gravierendsten und teuersten Konsequenzen nach sich ziehen.

Der Datenebene sind unter anderem das Sammeln, Speichern, Filtern und Labeln von Daten zuzuordnen.

Der OWASP AI-TG identifiziert unter anderem die folgenden Risiken:

• Nicht datenschutzkonforme Datenverarbeitung für Trainingsdaten, also zum Beispiel das Sammeln und Verwenden von Daten, die unter Zweckbindung stehen
• Toxische oder bösartige Trainingsdaten, zum Beispiel durch vorangegangene Manipulation der Daten
• Nicht repräsentative Trainingsdaten, wodurch Verzerrungen (Bias) in die Ergebnisse des Modells eingeführt werden können
• Leak von geheimen oder sensiblen Trainingsdaten, zum Beispiel indem Labeling-Methoden eingesetzt werden, die Daten an Dritte ausleiten
• Falsche Kennzeichnung (Mislabeling) von Trainingsdaten oder Filterunstimmigkeiten, was effektiv zu falschen Ergebnissen im fertigen Modell führt

Aus Sicht der SySS ergeben sich durch diese Risiken weitere wichtige Punkte für Entscheider und IT-Sicherheitsverantwortliche. Sie können unter anderem, aber nicht ausschließlich, zu regulatorischer Haftung führen – zum Beispiel durch diskriminierende KI in Kreditvergabeprozessen – und damit auch zu Reputationsschäden der jeweiligen Institution. Auch könnte die Wirtschaftlichkeit der KI-Anwendung als Ganze gestört werden. Beispielsweise kann durch das Trainieren eines Modells mit nicht repräsentativen Trainingsdaten der eigentliche Einsatzzweck des Modells verfehlt werden, weshalb es erneut trainiert werden muss – mit allen hierdurch entstehenden Aufwänden und Kosten.

Die genannten Risiken zu identifizieren, bietet aber zugleich die Möglichkeit, diesen durch geeignete Gegenmaßnahmen zu begegnen und sie damit zu reduzieren. Die SySS sieht hier die folgenden Handlungsfelder:

• Datenqualitätskontrollen von Beginn an
• Privacy by Design mitgedacht ab der ersten Designphase der KI-Anwendung
• Versionierung der Daten, um mögliche entstandene Probleme rückgängig zu machen
• Governance und Überwachung, um etwaige Seiteneffekte wie zum Beispiel ein ungewolltes Teilen von Trainingsdaten (Datenleck) im Labeling-Schritt zu identifizieren

Infrastrukturebene

Auf der Infrastrukturebene findet das tatsächliche Trainieren und Ausführen des fertigen Modells statt, wobei viele Technologien und Komponenten miteinander verknüpft sind, beispielsweise Container-Engines, Cloud-Ressourcen, Orchestrierungspipelines oder sogenannte Inference-Engines, mit denen das trainierte Modell ausgeführt wird. Dies hat zur Folge, dass zahlreiche unterschiedliche Risiken aus Bereichen wie beispielsweise dem Bereitstellen von Diensten, der Orchestrierungsmethodik und eventuell angebundenen APIs aufeinandertreffen.

Der OWASP AI-TG identifiziert als Konsequenz für die Infrastrukturebene die folgenden Risiken:

• Fehlende Nachvollziehbarkeit und Überprüfbarkeit, da zahlreiche bewegliche Teile aufeinandertreffen und miteinander verzahnt sind
• Supply-Chain-Angriffe, in denen die eingesetzten Technologien zum Training oder Speichern der trainierten Modelle manipuliert werden
• Bösartige Ausnutzung vorhandener und gewünschter (Agenten-)Fähigkeiten, indem beispielsweise eine KI-Anwendung auf eine Datenbank zugreifen kann, eine angreifende Person die KI aber dazu bringen kann, die ganze Datenbank zu löschen
• Ressourcenmissbrauch oder Denial of Service, wodurch potenziell immense Kosten entstehen können
• System Prompt Leak, was zum potenziellen Abfluss an geheimen oder sensiblen Informationen führen kann, zum Beispiel ein Datenbankpasswort, mit dem die KI auf eine Datenbank zugreifen kann

Diese Risiken können zu Ausfällen oder Manipulationen dieser Schicht führen und damit den gesamten Trainingsprozess oder die Modellausführung lahmlegen. Damit kann in Konsequenz natürlich –  ähnlich wie bei der Datenebene –  auch die Wirtschaftlichkeit beeinträchtigt werden. Zudem ist vorstellbar, dass ein bösartiges Ausnutzen der gewünschten Modellfähigkeiten zu Haftungsfragen und großen Reputationsschäden führen kann.

Aus unserer Sicht ergeben sich hierfür IT-Sicherheitsverantwortliche die folgenden Handlungsfelder:

• Härtung der Cloud- und Machine Learning-Pipelines, welche dann mit einem CLOUD-Penetrationstest von uns geprüft werden kann
• Dependency Scanning, im besten Fall regelmäßig und automatisiert oder mittels eines WEBAPP-Penetrationstests von SySS
• Logging & Observability, beispielsweise um festzustellen, ob eventuell Agenten für bösartige Tätigkeiten missbraucht werden
• Penetrationstest der eingesetzten APIs und Rollenkonzepte, um sicherzustellen, dass zum Beispiel keine sicherheitskritischen Fehlkonfigurationen vorliegen. Geeignet hierfür sind die Penetrationstestmodule WEBSERVICE, WEBAPP und REVIEW.

Modellebene

In dieser Ebene geht es um das KI-Modell selbst, d. h. seine Parameter, die zugrunde liegende Logik sowie die Verarbeitung von Eingaben und Ausgaben. Hier entscheidet sich, wie das Modell Muster erkennt, Entscheidungen trifft und auf abweichende oder manipulierte Eingaben reagiert. Schwachstellen in der Modellarchitektur, eine unzureichende Validierung von Eingabedaten oder unausgeglichene Gewichtungen der Ausgaben können zu verzerrten, unerwarteten oder sogar gefährlichen Ergebnissen führen. Diese Defizite sind oft schwer zu detektieren, da sie nicht direkt sichtbar sind, sondern nur durch spezifische Angriffe oder fehlerhafte Nutzung sichtbar werden. Das macht sie besonders riskant für den Betrieb.

Diese Ebene umfasst unter anderem das Modelltraining und Finetuning, aber natürlich auch das generelle Inferenzverhalten.

Als daraus entstehende Risiken benennt der OWASP AI-TG diese:

• Bias und Diskriminierung, wodurch eine verzerrte Entscheidungslogik im Modell diskriminierende Resultate generiert
• Overfitting und fehlende Generalisierung, wobei das Modell nicht in der Lage ist, vom Trainingsdatensatz zu generalisieren, und nur Aufgaben lösen kann, die bereits in den Trainingsdaten abgebildet sind
• Modell- und Trainingsdatenmanipulation, auch Poisoning genannt. Hier kann das Modell durch Manipulation, entweder zur Laufzeit oder zur Trainingszeit, nicht wie gewünscht agieren. Folglich ist die generelle Integrität des Modells gefährdet. 
• Modellexfiltration: Hier trainieren Angreifende ein weiteres Modell, welches den Zweck des ursprünglichen Modells exakt erfüllt. Dies stellt ein großes Risiko für das geistige Eigentum des ursprünglichen Modells dar.
• Erklärbarkeit und Fairnesslücken: Durch fehlende Erklärbarkeit des Modells können Fairnesslücken entstehen, die die Qualität der Ausgaben des Modells gefährden.
• Modell Inversion/Inference beschreibt den Fall, in dem Angreifende durch Anfragen an das KI-Modell den zugrunde liegenden Trainingsdatensatz rekonstruieren. Dies wurde zum Beispiel schon für KI-Anwendungen für Gesichtserkennung gezeigt, beispielsweise in dem Paper "Face Reconstruction from Face Embeddings using Adapter to a Face Foundation Model" von Shahreza et al. Hier konnten Angreifende die real existierenden Gesichter aus dem Trainingsdatensatz rekonstruieren.

Aus diesen Risiken ergeben sich aus Sicht der SySS weitere Herausforderungen für Führungskräfte und IT-Sicherheitsverantwortliche. Fehler im Modell gefährden Compliance und Fairness und können dazu führen, dass geheime oder sensible Daten abhandenkommen – mit direkten Auswirkungen auf geschäftskritische Entscheidungen. Die hier für die Modellebene genannten Risiken sind insbesondere relevant im Kontext des EU AI Act, der ISO/IEC 42001 und branchenspezifischer Vorgaben.

Unserer Erfahrung nach können diese Risiken hauptsächlich auf den folgenden Handlungsfeldern minimiert werden:

• Adversarial Testing, also das bewusste Einbringen von gezielt manipulierten oder problematischen Eingaben, die „Adversarial Examples“
• Fairness-Audits, um sicherzustellen, dass die KI-Anwendungen dem definierten Verständnis von Fairness entsprechen
• Modell-Monitoring, um etwaige Abweichungen vom Zielzustand festzustellen

Anwendungsebene

Da die Anwendungsebene die Schnittstelle ist, die am häufigsten nach außen exponiert ist und somit das primäre Ziel für Angreifende darstellt, entstehen hier die meisten realen Angriffe. Sie umfasst alle Interaktionspunkte, über die Nutzerinnen und Nutzer mit der KI-Anwendung in Kontakt treten – etwa Chatbots, die auf natürliche Sprache reagieren, Suchfunktionen, die semantisch interpretieren, automatisierte Entscheidungssysteme, die ohne menschliches Eingreifen handeln, oder auch intelligente Agenten und Plug-ins, die in bestehende Workflows integriert sind. Diese Komponenten sind oft so konzipiert, dass sie flexibel, benutzerfreundlich und leicht zugänglich sind, was sie aber gleichzeitig anfällig für Manipulationen wie Prompt Injection, Datenlecks durch übermäßige Antwortgenerierung oder Missbrauch durch bösartige Eingaben macht. Da sie direkt mit Endnutzern interagieren, können Schwachstellen hier nicht nur technische, sondern auch reputations- und vertrauensbezogene Schäden verursachen – mit unmittelbaren Folgen für den Geschäftsbetrieb und die Einhaltung regulatorischer Anforderungen.

So betrifft die Anwendungsebene potenziell zahlreiche Technologien, also zum Beispiel das Front-End-UI, die angebundenen APIs, verwendete Agenten sowie Plug-ins genauso wie die Interaktion zwischen Nutzer und KI.

Die entsprechenden Risiken sind auch im OWASP AI-TG dokumentiert:

• (Indirekte) Prompt Injections: Nutzerinnen und Nutzer beziehungsweise angreifende Personen manipulieren Eingaben so, dass die KI ihre vorgegebenen Regeln ignoriert.
• Unsichere Agentenaktionen: Plug-ins, Tools oder Agenten führen unbeabsichtigte oder riskante Aktionen aus, zum Beispiel das Löschen von Datenbankeinträgen, auf welche die KI Zugriff hat.
• Halluzinationen: Das Modell erzeugt falsche, aber plausibel klingende Ergebnisse. Dies kann auch zur Verbreitung von Desinformationen führen.
• Unsichere Ausgaben können entstehen, wenn das Modell bösartige Antworten generiert, die die Nutzer der Anwendung gefährden. Oder es werden Antworten generiert, die technische Angriffe auf die Nutzenden ausführen, zum Beispiel Cross-Site Scripting auf der Chatbot-Website.

Die Anwendungsebene ist entscheidend für das Vertrauen der Nutzerinnen und Nutzer. Schwachstellen hier führen unmittelbar zu Schäden für die Nutzer, etwa durch fehlerhafte oder manipulierte Antworten, die zu falschen Entscheidungen oder finanziellen Verlusten führen. Gleichzeitig entstehen dadurch Markenrisiken, da öffentliche Vorfälle oder Medienberichte über missbrauchte KI-Systeme das Vertrauen in das betroffene Unternehmen untergraben. Darüber hinaus bergen diese Schwachstellen ein hohes Risiko regulatorischer Vorfälle, insbesondere im Kontext des EU AI Act oder anderer datenschutz- und sicherheitsrelevanter Vorgaben. Führungskräfte und IT-Sicherheitsverantwortliche müssen daher die Anwendungsebene als kritischen Kontrollpunkt verstehen und zwar nicht nur technisch, sondern auch strategisch und reputationsbezogen.

Aus Sicht der SySS ergeben sich gleichzeitig folgende relevante Handlungsfelder:

• Monitoring, um möglichst schnell reagieren zu können
• Governance für Plug-ins/Tools, womit beispielsweise sichergestellt werden kann, dass nur vertrauenswürdige Plug-ins und Tools Verwendung finden
• Robuste Eingabevalidierung, geprüft mit einem WEBAPP- oder SOFTWARE-Penetrationstest von SySS 
• Klare Berechtigungslogik, die mittels WEBAPP-, WEBSERVICE- und SOFTWARE-Penetrationstests bei uns geprüft und sichergestellt werden kann

Fazit oder: Wie KI vom Risiko zur Chance wird

Der Lebenszyklus einer KI-Anwendung ist überaus komplex und bietet zahlreiche Angriffspunkte und Risiken. Durch das Formalisieren dieses Lebenszyklus und seine Einteilung in das Vier-Ebenen-Modell aus Googles SAIF können diese Risiken jedoch systematisch identifiziert und entsprechend Maßnahmen ergriffen werden, um sie wirksam zu minimieren. SySS kann Sie dabei zielgerichtet unterstützen. Das Ein- und Ausgabeverhalten beispielsweise prüfen wir im Rahmen unseres Moduls WEBAPP. Dass Ihr Rollenkonzept lückenlos ist, stellen wir mit unseren Modulen CLOUD, SOFTWARE oder REVIEW sicher.  Oder wir prüfen mit dem Modul WEBSERVICE, ob eine an Ihre KI-Anwendung angebundene API ein Risiko darstellt, falls die KI für bösartige Tätigkeiten missbraucht wird. Mit dem Minimieren der in diesem Artikel vorgestellten Risiken durch einen Penetrationstest können die Entwicklung und der Betrieb von KI-Anwendungen sicher, zuverlässig und konform zu geltenden Gesetzen und Regelungen gestaltet werden.

Da ein vollumfänglich sicheres Design und die Analyse von KI-Anwendungen ein durchaus komplexes Problem darstellen, unterstützen wir Sie gerne bei Ihrem Weg zu KI-getriebenen Anwendungen. Ob es sich um Threat Modeling, Sicherheitstests von KI-Anwendungen, den sicheren Einsatz bestehender KI-Lösungen oder das sichere Design neuer KI-Systeme handelt: Wir unterstützen Sie mit unserem Know-how und unserer Erfahrung, damit Ihr Unternehmen die umfassenden Chancen der Künstlichen Intelligenz als allgegenwärtige Technologie sicher und vertrauensvoll nutzen kann.