Nachhaltige Stärkung von Cybersicherheit und Rechtsstaatlichkeit im digitalen Zeitalter

Forschungsvorhaben schafft gerichtsfeste Methoden zur Forensik von KI-Systemen

Pressemitteilung /

© Cyberagentur
Projektstart für das Forschungsprogramm »Forensik intelligenter Systeme« (FIS) mit den drei Projektteams, die sich mit ihren Forschungsansätzen im Feld von neun Kurzkonzepten durchsetzen konnten.

Das Forschungsprojekt »Forensik intelligenter Systeme« entwickelt interdisziplinäre Ansätze zur gerichtsfesten Nachweisbarkeit (Forensic Readiness) von Manipulationen an kontinuierlich lernenden KI-Systemen. Finanziert durch die Cyberagentur wird das Forschungsvorhaben gemeinsam von Atos, einem weltweit führenden Unternehmen für KI-gestützte digitale Transformation, dem Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS, dem Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC, dem Institut für Internet-Sicherheit (Westfälische Hochschule) und der Universität zu Köln umgesetzt. Es stärkt nachhaltig Cybersicherheit und Rechtsstaatlichkeit im digitalen Zeitalter.

Das Forschungsprojekt »Forensik intelligenter Systeme« unterstützt deutsche Sicherheitsbehörden bei der Untersuchung von Cyberangriffen auf KI-Systeme. Ziel ist es, Methoden zur Erkennung und Nachweissicherung manipulativer Eingriffe wie »Data Poisoning« oder Angriffe auf das Verhalten KI-gesteuerter Systeme zu entwickeln. Der Fokus liegt auf kontinuierlich lernenden KI-Systemen, insbesondere neuronalen Netzwerken in der Bild- und Videoanalyse, die für kritische Anwendungen eingesetzt werden. Das Projekt kombiniert technische Innovationskraft mit juristischer Expertise, um »Forensic Readiness« zu erreichen. Der Begriff bezeichnet die vorbereitende Maßnahme, digitale Beweise in KI-Systemen so zu erfassen und zu sichern, dass sie im Falle eines Sicherheitsvorfalls (z. B. Angriffe oder Datenmanipulation) rechtssicher analysiert und vor Gericht verwendet werden können.

Nachweise für Angriffe auf KI forensisch weiterentwickeln


Das Fraunhofer AISEC bringt seine Cybersecurity-Expertise ein und arbeitet mit den Projektpartnern zusammen, um bestehende Nachweismethoden weiterzuentwickeln, die Forensic Readiness der KI-Systeme ermöglichen. Die Rechtskonformität der entwickelten Methoden sowie ihrer Ergebnisse wird anschließend durch die Partner überprüft. Zu den adressierten Angriffsszenarien gehören Inversions-, Evasions- und Data-Poisoning-Angriffe. Model-Stealing-Angriffe nehmen dabei eine besondere Rolle ein, da sie als vorbereitende Schritte für weitere Angriffe dienen können. Das AISEC-Team nimmt bei der Simulation der Angriffe die Perspektive der Verteidiger und damit die forensische Perspektive ein (Blue Team).

»Das Projekt stärkt das Vertrauen in KI-Systeme, indem es zielgerichtete Angriffe gerichtsfest nachweisbar macht. Damit schaffen wir die Basis für forensisch überprüfbare und rechtssichere KI – ein wichtiger Faktor für sicherheitskritische Anwendungen. Unsere Forschung treibt die Weiterentwicklung technologischer und rechtlicher Rahmenbedingungen im digitalen Zeitalter voran«, sagt Philip Sperl, Leiter der Abteilung Cognitive Security Technologies am Fraunhofer AISEC.