Cognitive Security Technologies

Die Abteilung Cognitive Security Technologies forscht an der Schnittstelle zwischen Künstlicher Intelligenz (KI) und IT-Sicherheit.

Dabei stehen zwei Aspekte im Vordergrund:

Anwendung von KI-Methoden in der IT-Sicherheit

Moderne IT-Systeme zeichnen sich durch eine rasant wachsende Komplexität aus. Die Entwicklung aktueller und zukünftiger Informations- und Kommunikationstechnik eröffnet neue, bisher ungeahnte Herausforderungen: Von der zunehmenden Vernetzung auch kleinster kommunikationsfähiger Einheiten und deren Zusammenschluss zum Internet der Dinge, über die globale Anbindung kritischer Infrastrukturen an ungesicherte Kommunikationsnetze, bis hin zur Absicherung digitaler Identitäten: Der Mensch sieht sich mit der Herausforderung konfrontiert, die Sicherheit und Stabilität all dieser Systeme zu gewährleisten.

Damit die IT-Sicherheit mit dieser rasanten Entwicklung Schritt halten kann, muss die Automatisierung weiterentwickelt und neu gedacht werden. Die Forschungsabteilung Cognitive Security Technologies erforscht und entwickelt teil-automatisierte Sicherheitslösungen, die mittels KI den Menschen bei der Untersuchung und Absicherung sicherheitskritischer Systeme unterstützen.

Sicherheit von Machine-Learning und KI-Algorithmen

Genau wie herkömmliche IT-Systeme können auch KI-Systeme angegriffen werden. Durch Adversarial Examples ist es beispielsweise möglich, eine Gesichtserkennungs-KI zu manipulieren. Angreifer können sich so bei sicherheitskritischen Zugangsverwaltungen, die auf KI-Systeme setzen, unerlaubten Zugang verschaffen. Ähnliche Angriffsszenarien betreffen zum Beispiel auch den Bereich des autonomen Fahrens, bei dem sich der Mensch auf die Robustheit und Stabilität der Assistenzsysteme verlassen muss.

Die Abteilung Cogntitive Security Technologies am Fraunhofer AISEC erforscht, wie sich derartige Schwachstellen in KI-Algorithmen finden und beheben lassen. Weiterhin bietet die Abteilung Tests zur Härtung derartiger KI-Systeme an.

Expertise

Das Fraunhofer AISEC ist deutschlandweit führend im Bereich der Härtung und Robustness-Analyse von KI-Methoden. Durch hochkarätige Veröffentlichungen in internationalen Konferenzen und die enge Zusammenarbeit mit unseren Industriepartnern kennt die Abteilung Cognitive Security Technolgoies die aktuellen Herausforderungen und bietet entsprechende Lösungsanätze.

Einer der Forschungsschwerpunkte ist beispielsweise die Entwicklung eines Prüfverfahrens, welche KI-Modelle auf ihre Angreifbarkeit bewertet und geeignete Key-Performance-Indikatioren (KPI) erstellt. Dies erlaubt dem Modellinhaber, die Verwundbarkeit des eigenen Systems abzuschätzen, vergleichbar mit klassischen Penetration Tests. In einem zweiten Schritt können die Modelle dann entsprechend gehärtet werden.

Die Forschungsabteilung Cognitive Security Technologies verfügt über fundierte Expertise in folgenden Bereichen:

  • Adversarial Machine Learning
  • Anomaly Detection
  • Natural Language Processing
  • KI-basiertes Fuzzing
  • User Behaviour Analysis
  • Analysis of Encrypted Network Traffic
  • KI für eingebettete Systeme
  • General Machine Learning

Kompetenzen und Angebote im Überblick

  • Bewertung von KI-basierten Sicherheitsprodukten, wie z.B. Gesichtserkennungskameras oder Audio-Systemen wie Sprachsynthese, Spracherkennung oder stimmbasierte Nutzererkennung
  • Erklärbarkeit von KI-Methoden (Explainable AI)
  • Hardware-Reversing und Pentesting mittels Künstlicher Intelligenz, z.B. durch Seitenkanalangriffe auf eingebettete Geräte
  • Bewertung der Korrektheit von Datensätzen, sowohl gegenüber zufälligen Fehlern (etwa falsche Annotationen) als auch Angriffen (Adversarial Data Poisoning)
  • Bewertung von Trainings-Pipelines für Maschinelles Lernen (ML): Untersuchung der Korrektheit der verwendeten Preprocessing-Methoden, Algorithmen und Metriken
  • Implementierung und Weiterentwicklung von Ansätzen aus dem Bereich Privacy Preserving Machine Learning: Training von Modellen auf fremden Datensätzen, unter Wahrung der Vertraulichkeit von Datensätzen oder Modellen
  • Authentisierung und Human Machine Interface (HMI) Security
  • Unterstützung in der Auswertung von Security-Log Dateien mithilfe von Natural Language Processing
  • Informationsaggregierung zur Systemanalyse und Überwachung mithilfe von ML-basierter Auswertung von Datenströmen, Log-Dateien und weiteren Datenquellen
  • Konzeption und Prototyping von leistungsfähriger, KI-unterstützter Anomalieerkennung
  • Konzeption und Prototyping von KI-unterstützer Fraud-Detection
  • Lagebilderstellung mithilfe von Bild-, Text- und Audiomaterialen (u.a. durch Open Source Intelligence)
  • Entwicklung von Algorithmen im Bereich Predictive Security
  • Erstellung von automatisierten Lösungen zur Umsetzung der DSGVO-Richtlinien
  • Seminar- und Schulungskurse zum Thema KI für IT-Sicherheit
  • Entwicklung von Erkennungsalgorithmen für Deepfake-Materialien
  • Implementierung von KI-basierten Elementen zum IP-Schutz

Projekte (Auswahl)

ECOSSIAN

Erkennungs- und Frühwarnsystem für kritische Infrastrukturen

Zum Projektvideo

CyberFactory#1

Entwurf, Entwicklung, Integration und Demonstration einer hochgradig vernetzten und resiliienten, industriellen Produktion

Mehr zu CyberFactory#1

SeCoIIA

KI-gestützte Absicherung hochvernetzter, vollautomatisierter Industrieproduktion

Mehr zu SeCoIIA

Publikationen (Auswahl)

Adversarial Machine Learning
  • Sperl P., Kao C., Chen P., Lei X., Böttinger K. (2020) DLA: Dense-Layer-Analysis for Adversarial Example Detection. 5th IEEE European Symposium on Security and Privacy (EuroS&P 2020).
Anomaly Detection
  • Müller, N.,  Debus, P., Kowatsch, D. & Böttinger, K. (2019, July). Distributed Anomaly Detection of Single Mote Attacks in RPL Networks. Accepted for publication at 16th International Conference on Security and Cryptography (SECRYPT). Scitepress.
  • Schulze, J.-Ph., Mrowca, A., Ren, E., Loeliger, H.-A., Böttinger, K. (2019, July). Context by Proxy: Identifying Contextual Anomalies Using an Output Proxy. Accepted for publication at The 25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’19).
  • Fischer, F., Xiao, H., Kao, C., Stachelscheid, Y., Johnson, B., Razar, D., Furley, P., Buckley, N, Böttinger, K., Muntean, P., Grossklags, J. (2019) Stack Overflow Considered Helpful! Deep Learning Security Nudges Towards Stronger Cryptography, Proceedings of the 28th USENIX Security Symposium (USENIX Security).
Natural Language Processing
  • Müller, N., & Kowatsch, D., Debus, P., Mirdita, D. & Böttinger, K. (2019, September). On GDPR compliance of companies' privacy policies. Accepted for publication at TSD 2019.
General Machine Learning
  • Müller, N., & Markert, K. (2019, July). Identifying Mislabeled Instances in Classification Datasets. Accepted for publication at IJCNN 2019.
Fuzzing
  • Sperl, P., Böttinger, K. (2019). Side-Channel Aware Fuzzing. In Proceedings of 24rd European Symposium on Research in Computer Security (ESORICS). Springer.
User Behaviour Analysis
  • Engelmann, S., Chen, M., Fischer, F., Kao, C. Y., & Grossklags, J. (2019, January). Clear Sanctions, Vague Rewards: How China’s Social Credit System Currently Defines “Good” and “Bad” Behavior. In Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 69-78). ACM.

  • K. Böttinger, R. Singh, and P. Godefroid. “Deep Reinforcement Fuzzing”. In: IEEE Symposium on Security and Privacy Workshops 2018.
  • P. ​Schneider, and K. Böttinger. "High-Performance Unsupervised Anomaly Detection for Cyber-Physical System Networks." Proceedings of the 2018 Workshop on Cyber-Physical Systems Security and Privacy. ACM, 2018.
  • F. Fischer, K. Böttinger, H. Xiao, C. Stransky, Y. Acar, M. Backes, and S. Fahl. “Stack overflow considered harmful? the impact of copy&paste on android application security.“ In IEEE Symposium on Security and Privacy 2017, 2017.
  • K. Böttinger. “Guiding a colony of black-box fuzzers with chemotaxis“. In IEEE Symposium on Security and Privacy Workshops 2017, 2017.
  • K. Böttinger. “Chemotactic test case recombination for large-scale fuzzing“. Journal of Cyber Security and Mobility, pages 269–286, 2017.
  • K. Böttinger. “Hunting bugs with Lêvy flight foraging“. In IEEE Sympo- sium on Security and Privacy Workshops 2016, pages 111–117, 2016.
  • K. Böttinger. “Fuzzing binaries with Lêvy flight swarms“. EURASIP Journal on Information Security, 2016.
  • K. Böttinger and C. Eckert. “Deepfuzz: Triggering vulnerabilities deeply hidden in binaries“. In Conference on Detection of Intrusions and Mal- ware, and Vulnerability Assessment, pages 25–34. Springer, 2016.
  • G. Settanni, F. Skopik, Y. Shovgenya, R. Fiedler, M. Carolan, D. Con- roy, K. Böttinger, M. Gall, G. Brost, C. Ponchel, M. Haustein, H. Kaufmann, K. Theuerkauf, and P. Olli. “A collaborative cyber incident management system for european interconnected critical infrastructures“. Journal of Information Security and Applications, Special Issue on ICS & SCADA Cyber Security, 2016.K. Böttinger, G. Hansch, and B. Filipovic. “Detecting and Correlating Supranational Threats for Critical Infrastructures”. In 15th European Conference on Cyber Warfare and Security (ECCWS 2016), 2016.

  • K. Böttinger, D. Schuster, and C. Eckert. “Detecting Fingerprinted Data in {TLS} Traffic”. In Proceedings of the 10th ACM Symposium on Information, Computer and Communications Security, 2015, pp. 633–638.
  • H. Xiao, B. Biggio, G. Brown, G. Fumera, C. Eckert, and F. Roli. “Is Feature Selection Secure against Training Data Poisoning ?”. Int’l Conf. Mach. Learn., vol. 37, 2015.
  • D. Schuster and R. Hesselbarth. “Evaluation of Bistable Ring PUFs Using Single Layer Neural Networks”. In Trust and Trustworthy Computing, Springer, 2014, pp. 101–109.
  • H. Xiao, B. Biggio, B. Nelson, H. Xiao, C. Eckert, and F. Roli. “Support Vector Machines under Adversarial Label Contamination”. J. Neurocomputing, Spec. Issue Adv. Learn. with Label Noise, Aug. 2014.
  • H. Xiao and C. Eckert. “Lazy Gaussian Process Committee for Real-Time Online Regression”. In 27th AAAI Conference on Artificial Intelligence (AAAI ’13), 2013.
  • H. Xiao and C. Eckert. “Efficient Online Sequence Prediction with Side Information”. In IEEE International Conference on Data Mining (ICDM), 2013.
  • H. Xiao and C. Eckert. “Indicative support vector clustering with its application on anomaly detection”. Proc. - 2013 12th Int. Conf. Mach. Learn. Appl. ICMLA 2013, vol. 1, pp. 273–276, 2013.H. Xiao, H. Xiao, and C. Eckert, “OPARS: Objective photo aesthetics ranking system,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 7814 LNCS, pp. 861–864, 2013.
  • H. Xiao, H. Xiao, and C. Eckert. “Learning from multiple observers with unknown expertise”. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 7818 LNAI, no. PART 1, pp. 595–606, 2013.
  • H. Xiao, H. Xiao, and C. Eckert. “Adversarial Label Flips Attack on Support Vector Machines”. In 20th European Conference on Artificial Intelligence (ECAI), 2012.