Mit dem innovativen Forschungsprojekt »AIgenCY – Chancen und Risiken generativer KI in der Cybersicherheit« nehmen führende Expertinnen und Experten aus Wissenschaft und Industrie die Herausforderung an, die Implikationen generativer Künstlicher Intelligenz (KI) für die Cybersicherheit zu erforschen.

Das vom Bundesministerium für Bildung und Forschung (BMBF) unterstützte Projekt AIgenCY vereint unter der Federführung des Fraunhofer-Instituts für Angewandte und Integrierte Sicherheit AISEC Spezialistinnen und Spezialisten des CISPA – Helmholtz-Zentrums für Informationssicherheit, der Technischen Universität Berlin und der Freien Universität Berlin und kooperiert mit dem Pionier-Unternehmen für KI, Aleph Alpha, aus Heidelberg. Gemeinsames Bestreben ist es, die komplexen Effekte zu analysieren, die generative KI auf die Cybersicherheit insbesondere der nationalen kritischen Infrastrukturen ausübt. 

Die rasant fortschreitenden Entwicklungen in der generativen KI, insbesondere in neuronalen Netzwerken, revolutionieren die Erstellung von digitalen Inhalten. Generative KI-Systeme sind bereits in der Lage, authentische Texte, visuelle Inhalte und komplexe Programmcodes zu generieren und zu verfeinern. Diese Fähigkeiten eröffnen neue Chancen, bergen aber auch signifikante Risiken – besonders für die Cybersicherheit nationaler kritischer Infrastrukturen und die Grundpfeiler unserer Demokratie. AIgenCY widmet sich daher der Aufgabe, potenzielle Bedrohungen durch KI-generierte Inhalte zu erkennen und robuste Abwehrstrategien zu entwickeln, um die digitale Souveränität Deutschlands zu festigen und kritische Infrastrukturen zu schützen.

Im Zuge des Projekts wird ein Experimentierlabor eingerichtet, das die Anwendbarkeit generativer KI-Technologien in praxisnahen Szenarien erforscht. Dabei konzentriert sich das Forschungsteam auf folgende Kernthemen:

• Malware-Bekämpfung: Analyse der Generierung fortschrittlicher Malware durch KI und Entwicklung entsprechender Gegenmaßnahmen.
• Verhinderung von Social Engineering, Desinformation und betrügerischen Kampagnen: Steigerung der Wachsamkeit und Verbesserung der Erkennung automatisierter Angriffe.
• Informationssammlung und -aufbereitung (Reconnaissance): Verständnis für präventive Angriffsstrategien und deren Abwehr.
• Erklärbarkeit und Inferenz: Interpretation der Entscheidungsfindung generativer KI-Modelle und Identifikation systemischer Schwachstellen.
• Watermarking und Anomalieerkennung: Rückverfolgung der Datenherkunft und Erkennung ungewöhnlicher Muster, die auf mögliche Angriffe hinweisen.

AIgenCY zielt darauf ab, maßgeblich zum Schutz kritischer Infrastruktur beizutragen, Deutschland als Innovationsstandort zu stärken, Expertise im Bereich der Cybersicherheit zu vertiefen und die lokale Wirtschaft zu fördern. Damit wird das Projekt einen wichtigen Beitrag zur Bewältigung gesellschaftlicher Herausforderungen, die durch neue KI-Technologien entstehen, leisten.

»Mit dem Projekt AIgenCY haben wir die Chance, die Weichen für eine sichere digitale Zukunft zu stellen und KI-Innovationen im Sinne einer resilienten Gesellschaft voranzutreiben«, betont Prof. Dr. Claudia Eckert, Institutsleiterin des Fraunhofer AISEC. »Mit einer Förderung von fünf Millionen Euro durch das BMBF über die nächsten drei Jahre ist AIgenCY auf einem guten Weg, dieses zukunftsrelevante Forschungs- und Innovationsfeld maßgeblich mitzugestalten.«