Cognitive Security Technologies

Künstliche Intelligenz und IT-Sicherheit

Die Abteilung Cognitive Security Technologies forscht an der Schnittstelle zwischen Künstlicher Intelligenz (KI) und IT-Sicherheit.

Dabei stehen zwei Aspekte im Vordergrund:

Anwendung von KI-Methoden in der IT-Sicherheit

Moderne IT-Systeme zeichnen sich durch eine rasant wachsende Komplexität aus. Die Entwicklung aktueller und zukünftiger Informations- und Kommunikationstechnik eröffnet neue, bisher ungeahnte Herausforderungen: Von der zunehmenden Vernetzung auch kleinster kommunikationsfähiger Einheiten und deren Zusammenschluss zum Internet der Dinge, über die globale Anbindung kritischer Infrastrukturen an ungesicherte Kommunikationsnetze, bis hin zur Absicherung digitaler Identitäten: Der Mensch sieht sich mit der Herausforderung konfrontiert, die Sicherheit und Stabilität all dieser Systeme zu gewährleisten.

Damit die IT-Sicherheit mit dieser rasanten Entwicklung Schritt halten kann, muss die Automatisierung weiterentwickelt und neu gedacht werden. Die Forschungsabteilung Cognitive Security Technologies erforscht und entwickelt teil-automatisierte Sicherheitslösungen, die mittels KI den Menschen bei der Untersuchung und Absicherung sicherheitskritischer Systeme unterstützen.

Sicherheit von Machine-Learning und KI-Algorithmen

Genau wie herkömmliche IT-Systeme können auch KI-Systeme angegriffen werden. Durch Adversial Examples ist es beispielsweise möglich, eine Gesichtserkennungs-KI zu manipulieren. Angreifer können sich so bei sicherheitskritischen Zugangsverwaltungen, die auf KI-Systeme setzen, unerlaubten Zugang verschaffen. Ähnliche Angriffsszenarien betreffen zum Beispiel auch den Bereich des autonomen Fahrens, bei dem sich der Mensch auf die Robustheit und Stabilität der Assistenzsysteme verlassen muss.

Die Abteilung Cognitive Security Technologies am Fraunhofer AISEC erforscht, wie sich derartige Schwachstellen in KI-Algorithmen finden und beheben lassen. Weiterhin bietet die Abteilung Tests zur Härtung derartiger KI-Systeme an.

GPU-Cluster mit hoher Rechenleistung

Deep Learning und KI erfordern sehr hohe Rechenleistung. Das Fraunhofer AISEC unterhält deshalb mehrere GPU-Cluster, die speziell für Deep Learning optimiert sind. Diese Ressourcen werden kontinuierlich mit der neusten Technik ausgebaut. Dies ermöglicht es, die aktuellsten Modelle schnell und effizient zu trainieren, um Entwicklungszyklen kurz zu halten.

 

Angebote im Überblick

Unser Ziel ist es, in enger Zusammenarbeit mit unseren Partnern und Kunden die Sicherheit von Systemen und Produkten systematisch zu verbessern. Hierbei nutzen wir die Möglichkeiten modernster KI-Algorithmen, um die Systemzuverlässigkeit umfassend bewerten zu können und Sicherheit und Robustheit nachhaltig über den gesamten Lebenszyklus zu bewahren.

Sicherheit bewerten

  • Bewertung von KI-basierten Sicherheitsprodukten, wie z.B. Gesichtserkennungskameras oder Audio-Systemen wie Sprachsynthese, Spracherkennung oder stimmbasierte Nutzererkennung
  • Erklärbarkeit von KI-Methoden (Explainable AI)
  • Hardware-Reversing und Pentesting mittels Künstlicher Intelligenz, z.B. durch Seitenkanalangriffe auf eingebettete Geräte
  • Bewertung der Korrektheit von Datensätzen, sowohl gegenüber zufälligen Fehlern (etwa falsche Annotationen) als auch Angriffen (Adversarial Data Poisoning)
  • Bewertung von Trainings-Pipelines für Maschinelles Lernen (ML): Untersuchung der Korrektheit der verwendeten Preprocessing-Methoden, Algorithmen und Metriken

 

Sicherheit gestalten  

  • Implementierung und Weiterentwicklung von Ansätzen aus dem Bereich Privacy Preserving Machine Learning: Training von Modellen auf fremden Datensätzen, unter Wahrung der Vertraulichkeit von Datensätzen oder Modellen
  • Authentisierung und Human Machine Interface (HMI) Security
  • Unterstützung in der Auswertung von Security-Log Dateien mithilfe von Natural Language Processing
  • Informationsaggregierung zur Systemanalyse und Überwachung mithilfe von ML-basierter Auswertung von Datenströmen, Log-Dateien und weiteren Datenquellen

 

Sicherheit bewahren

  • Konzeption und Prototyping von leistungsfähriger, KI-unterstützter Anomalieerkennung
  • Konzeption und Prototyping von KI-unterstützer Fraud-Detection
  • Lagebilderstellung mithilfe von Bild-, Text- und Audiomaterialen (u.a. durch Open Source Intelligence)
  • Entwicklung von Algorithmen im Bereich Predictive Security
  • Erstellung von automatisierten Lösungen zur Umsetzung der DSGVO-Richtlinien
  • Seminar- und Schulungskurse zum Thema KI für IT-Sicherheit
  • Entwicklung von Erkennungsalgorithmen für Deepfake-Materialien
  • Implementierung von KI-basierten Elementen zum IP-Schutz

Expertise

Das Fraunhofer AISEC ist deutschlandweit führend im Bereich der Härtung und Robustness-Analyse von KI-Methoden. Durch hochkarätige Veröffentlichungen in internationalen Konferenzen und die enge Zusammenarbeit mit unseren Industriepartnern kennt die Abteilung Cognitive Security Technolgoies die aktuellen Herausforderungen und bietet entsprechende Lösungsanätze.

Einer der Forschungsschwerpunkte ist beispielsweise die Entwicklung eines Prüfverfahrens, welche KI-Modelle auf ihre Angreifbarkeit bewertet und geeignete Key-Performance-Indikatioren (KPI) erstellt. Dies erlaubt dem Modellinhaber, die Verwundbarkeit des eigenen Systems abzuschätzen, vergleichbar mit klassischen Penetration Tests. In einem zweiten Schritt können die Modelle dann entsprechend gehärtet werden.

Die Forschungsabteilung Cognitive Security Technologies verfügt über fundierte Expertise in folgenden Bereichen:

  • Adversarial Machine Learning
  • Anomaly Detection
  • Natural Language Processing
  • KI-basiertes Fuzzing
  • User Behaviour Analysis
  • Analysis of Encrypted Network Traffic
  • KI für eingebettete Systeme
  • General Machine Learning

Ausgewählte Projekte

SuKI – Sicherheit für und mit Künstlicher Intelligenz

Die zunehmende Vernetzung und Digitalisierung stellen immer neue Herausforderungen an die IT-Sicherheit. Auf der einen Seite bietet KI vielfältige Chancen, wie zum Beispiel eine einfachere Aggregation von Informationen, niedrigschwelligere Nutzungsangebote oder die Vermeidung von Gefahren durch menschliches Fehlverhalten. Gleichzeitig wird es immer wichtiger, die Sicherheit von KI geeignet zu überprüfen.

Hier setzt das Projekt SuKI an, um angewandte Forschung an der Schnittstelle zwischen künstlicher Intelligenz und IT-Sicherheit voranzubringen.

Das Projekt wird über die nächsten fünf Jahre mit 5 Mio. Euro vom Bayerischen Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.

Zum Projekt

Weitere Projekte

 

ECOSSIAN

Erkennungs- und Frühwarnsystem für kritische Infrastrukturen

 

 

 

 

CyberFactory#1

Entwurf, Entwicklung, Integration und Demonstration einer hochgradig vernetzten und resiliienten, industriellen Produktion

 

SeCoIIA

KI-gestützte Absicherung hochvernetzter, vollautomatisierter Industrieproduktion

Publikationen

  • N. Müller and K. Böttinger. “Adversarial Vulnerability of Active Transfer Learning”. In: Symposiumon Intelligent Data Analysis 2021. 2021.
  • Philip Sperl, Jan-Philipp Schulze, and Konstantin Böttinger. “Activation Anomaly Analysis”. In: Machine Learning and Knowledge Discovery in Databases. Ed. by Frank Hutter, Kristian Kersting, JefreyLijffijt, and Isabel Valera. Cham: Springer International Publishing, 2021, pp. 69–84. ISBN: 978-3-030-67661-2.

  • Tom Dörr, Karla Markert, Nicolas M. Müller, and Konstantin Böttinger. “Towards Resistant AudioAdversarial Examples”. In: 1st Security and Privacy on Artificial Intelligent Workshop (SPAI’20). ACMAsiaCCS. Taipei, Taiwan, 2020. DOI: https://doi.org/10.1145/3385003.3410921.
  • Karla Markert, Donika Mirdita, and Konstantin Böttinger. “Adversarial Attacks on Speech Recognition Systems: Language Bias in Literature”. In: ACM Computer Science in Cars Symposium (CSCS). Online, 2020.
  • Karla Markert, Romain Parracone, Philip Sperl, and Konstantin Böttinger. “Visualizing Automatic Speech Recognition”. In: Annual Computer Security Applications Conference (ACSAC). Online, 2020.
  • N. Müller, D. Kowatsch, and K. Böttinger. “Data Poisoning Attacks on Regression Learning and Corresponding Defenses”. In: 25th IEEE Pacific Rim International Symposium on Dependable Computing (PRDC). 2020
  • N. Müller, S. Roschmann, and K. Böttinger. “Defending Against Adversarial Denial-of-Service Data Poisoning Attacks”. InDYNAMICS Workshop, Annual Computer Security Applications Conference (ACSAC). 2020.
  • P. Sperl and K. Böttinger. “Optimizing Information Loss Towards Robust Neural Networks”. In: DYNAMICS Workshop, Annual Computer Security Applications Conference (ACSAC). 2020.
  • Sperl P., Kao C., Chen P., Lei X., Böttinger K. (2020) DLA: Dense-Layer-Analysis for Adversarial Example Detection. 5th IEEE European Symposium on Security and Privacy (EuroS&P 2020).
  • Müller, N.,  Debus, P., Kowatsch, D. & Böttinger, K. (2019, July). Distributed Anomaly Detection of Single Mote Attacks in RPL Networks. Accepted for publication at 16th International Conference on Security and Cryptography (SECRYPT). Scitepress.
  • Schulze, J.-Ph., Mrowca, A., Ren, E., Loeliger, H.-A., Böttinger, K. (2019, July). Context by Proxy: Identifying Contextual Anomalies Using an Output Proxy. Accepted for publication at The 25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’19).
  • Fischer, F., Xiao, H., Kao, C., Stachelscheid, Y., Johnson, B., Razar, D., Furley, P., Buckley, N, Böttinger, K., Muntean, P., Grossklags, J. (2019) Stack Overflow Considered Helpful! Deep Learning Security Nudges Towards Stronger Cryptography, Proceedings of the 28th USENIX Security Symposium (USENIX Security).
  • Müller, N., & Kowatsch, D., Debus, P., Mirdita, D. & Böttinger, K. (2019, September). On GDPR compliance of companies' privacy policies. Accepted for publication at TSD 2019.
  • Müller, N., & Markert, K. (2019, July). Identifying Mislabeled Instances in Classification Datasets. Accepted for publication at IJCNN 2019.
  • Sperl, P., Böttinger, K. (2019). Side-Channel Aware Fuzzing. In Proceedings of 24rd European Symposium on Research in Computer Security (ESORICS). Springer.
  • Engelmann, S., Chen, M., Fischer, F., Kao, C. Y., & Grossklags, J. (2019, January). Clear Sanctions, Vague Rewards: How China’s Social Credit System Currently Defines “Good” and “Bad” Behavior. In Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 69-78). ACM.

  • Xiao, H. (2017). Adversarial and Secure Machine Learning (Doctoral dissertation, Universität München).
  • Schneider, P., & Böttinger, K. (2018, October). High-Performance Unsupervised Anomaly Detection for Cyber-Physical System Networks. In Proceedings of the 2018 Workshop on Cyber-Physical Systems Security and PrivaCy (pp. 1-12). ACM.
  • Fischer, F., Böttinger, K., Xiao, H., Stransky, C., Acar, Y., Backes, M., & Fahl, S. (2017, May). Stack overflow considered harmful? the impact of copy&paste on android application security. In Security and Privacy (SP), 2017 IEEE Symposium on (pp. 121-136). IEEE.
  • Böttinger, R. Singh, and P. Godefroid. Deep Reinforcement Fuzzing. In IEEE Symposium on Security and Privacy Workshops, 2018.
  • Böttinger, K. (2017, May). Guiding a Colony of Black-Box Fuzzers with Chemotaxis. In Security and Privacy Workshops (SPW), 2017 IEEE (pp. 11-16). IEEE.
  • Böttinger, K. (2016). Fuzzing binaries with Lévy flight swarms. EURASIP Journal on Information Security, 2016(1), 28.
  • Böttinger, K., & Eckert, C. (2016, July). Deepfuzz: triggering vulnerabilities deeply hidden in binaries. In International Conference on Detection of Intrusions and Malware, and Vulnerability Assessment (pp. 25-34). Springer, Cham.
  • Böttinger, K. (2016, May). Hunting bugs with Lévy flight foraging. In Security and Privacy Workshops (SPW), 2016 IEEE (pp. 111-117). IEEE.
  • Settanni, G., Skopik, F., Shovgenya, Y., Fiedler, R., Carolan, M., Conroy, D., ... & Haustein, M. (2017). A collaborative cyber incident management system for European interconnected critical infrastructures. Journal of Information Security and Applications, 34, 166-182

  • Xiao, H., Biggio, B., Nelson, B., Xiao, H., Eckert, C., & Roli, F. (2015). Support vector machines under adversarial label contamination. Neurocomputing, 160, 53-62.
  • Xiao, H., Biggio, B., Brown, G., Fumera, G., Eckert, C., & Roli, F. (2015, June). Is feature selection secure against training data poisoning?. In International Conference on Machine Learning (pp. 1689-1698).
  • Böttinger, K., Schuster, D., & Eckert, C. (2015, April). Detecting Fingerprinted Data in TLS Traffic. In Proceedings of the 10th ACM Symposium on Information, Computer and Communications Security (pp. 633-638). ACM.
  • Schuster, D., & Hesselbarth, R. (2014, June). Evaluation of bistable ring PUFs using single layer neural networks. In International Conference on Trust and Trustworthy Computing (pp. 101-109). Springer, Cham.