GenAI - Chancen und Risiken für die Cybersicherheit

Generative Künstliche Intelligenz revolutioniert die automatisierte Erstellung von Inhalten wie Texten und Bildern, aber auch Programmcode. Möglich wird dies durch neuronale Netze, die auf bis zu Billionen von Parametern basieren. Doch mit den Chancen gehen auch Risiken einher: Neben der Transparenz und Nachvollziehbarkeit von KI-Systemen stellen ihre Halluzinationen und ihre Robustheit gegenüber Angreifern sowie Verlässlichkeit zentrale Herausforderungen dar.

Auch in der Cybersicherheit gehen mit generativer Künstlicher Intelligenz Chancen und Risiken einher: So ist GenAI sowohl als potenzielle Bedrohung als auch als Werkzeug zur Verteidigung zu verstehen.

Chancen von GenAI in der Cybersicherheit

1. Proaktive Erhöhung des Cybersicherheitsniveaus auch gegen KI-basierte Angriffe:

• Echtzeitanalyse: Generative KI kann große Datenmengen schnell analysieren, Anomalien erkennen und Ursachen für Angriffe identifizieren.
• Vorhersage von Angriffspfaden: Predictive Security AI kann Schwachstellen erkennen und Schutzmaßnahmen antizipieren.
• Autonome Abwehr: KI kann ohne menschliches Eingreifen auf Angriffe reagieren, sofern ihre Entscheidungen transparent und nachvollziehbar sind. 

2. Unterstützung bei operativen Cybersicherheitsaufgaben

• Automatisierung von Routinetätigkeiten: Die Automatisierung von Routinetätigkeiten etwa bei der Log-Analyse entlastet Fachkräfte und wirkt dem Fachkräftemangel entgegen.
• Automatisierte Schwachstellen-Erkennung: Schwachstellen können automatisiert erkannt, verfolgt und behoben werden.
• Compliance-Unterstützung: Hilfe bei der Umsetzung und Dokumentation gesetzlicher Anforderungen (z. B. DSGVO, NIS2, CRA) etwa durch Integration in Frameworks der Open Security Controls Assessment Language (OSCAL) der NIST, dem Common Security Advisory Framework (CSAF) oder des Bundesamts für Sicherheit in der Informationstechnik (BSI).

3. Verbesserung der Sicherheitsqualität in der Softwareentwicklung

• Analyse von Softwareartefakten: Unterstützung bei der Sicherheitsprüfung von Software in der Supply Chain, auch bei Binärcode.
• Sichere Softwareentwicklung: Frühe Erkennung von Schwachstellen, Vorschläge für sicheren Code und kontinuierliche Sicherheitsanalysen durch Integration in IDEs und CI/CD-Pipelines.
• Effizientere Entwicklungsprozesse: Generative KI kann Entwicklungsqualität und -geschwindigkeit verbessern und Sicherheitsrisiken frühzeitig minimieren.

Risiken

1. Individuelle Nutzungsrisiken

• Prompt Injection: Nutzer können durch gezielte Eingaben große Sprachmodelle (Large Language Models / LLMs), die mithilfe großer Mengen an Textdaten gelernt haben, menschliche Sprache zu verstehen und selbst Texte zu erzeugen, manipulieren.
• Informationsabfluss: Vertrauliche Daten können versehentlich in Anfragen offengelegt oder über Modell-Antworten zurückerschlossen werden (Inference Attacks).
• Schadcode durch LLM-Ausgaben: Die ungeprüfte Nutzung von KI-Antworten kann Sicherheitslücken erzeugen, besonders wenn generierter Programmcode unkontrolliert verwendet wird.
• Manipulierte Trainingsdaten: »Training Data Poisoning« kann gezielt das Verhalten eines Modells verändern.

2. KI-generierte Angriffskampagnen

• Automatisch generierte Malware: Anpassungsfähiger Schadcode kann ohne tiefes Fachwissen erstellt werden (z. B. polymorphe Viren).
• Phishing und Deepfakes: KI ermöglicht breit angelegte Kampagnen mit gezielten, hoch-individualisierten und scheinbar realistischen, aber manipulierten Inhalten.
• Fake News und Desinformation: Großflächig automatisiert gestreute Falschinformationen gefährden gesellschaftliches Vertrauen und demokratische Prozesse.
• Autonome Angreifer: KI kann Schwachstellen erkennen und Angriffsstrategien entwickeln (z. B. hierarchische Agentensysteme).
• Hybride Angriffe: Die Kombination von LLM mit herkömmlichen Sicherheitsanalyse-Frameworks zur Unterstützung von Sicherheitsverantwortlichen ermöglicht koordinierte, dynamische Cyberangriffe.

3. KI-gestützte Angriffsvorbereitung

• Schwachstellenerkennung: LLMs helfen Angreifenden bei der schnellen Identifikation von Schwachstellen.
• Lagebilder durch Datenanalyse: Die Kombination aus Open-Source-Intelligenz (OSINT) und anderen Datenquellen erlaubt eine präzise Vorbereitung von Angriffen, auch ohne technisches Fachwissen.

Einen guten Überblick über die Chancen und Risiken liefert das Impulspapier »Generative KI und ihre Auswirkungen auf die Cybersicherheit« der Wissenschaftlichen Arbeitsgruppe Nationaler Cyber-Sicherheitsrat von Juni 2025. Hauptautorin des Impulspapiers ist Prof. Dr. Claudia Eckert, Leiterin des Fraunhofer-Instituts für Angewandte und Integrierte Sicherheit AISEC.

Die OWASP* Top 10 für Anwendungen mit großen Sprachmodellen (LLMs) von November 2024 identifiziert die kritischsten Sicherheitsrisiken in diesem Bereich.

Die Potenziale generativer KI für die Cybersicherheit können nur dann wirksam werden, wenn die Systeme vertrauenswürdig sind – also robust, datenschutzfreundlich, transparent, nachvollziehbar und diskriminierungsfrei arbeiten. Andernfalls kehren sich die Chancen in neue Risiken um.

Generative KI-Modelle liefern mitunter falsche oder absurde Antworten, wenn keine verlässliche Datenbasis vorliegt – dieses Phänomen wird als »Halluzinieren« bezeichnet. Es stellt ein zentrales Problem für die Vertrauenswürdigkeit von KI dar, besonders bei Assistenzsystemen, da nicht überprüfbare Inhalte in generierte Dokumente gelangen können.

Unternehmen sollten deshalb gemeinsam mit Politik, Forschung und Verwaltung vertrauenswürdige KI-Ökosysteme aufbauen. Erfolgversprechend sind spezialisierte Modelle mit branchenspezifischem Wissen, die kontrollierbar und anpassbar sind. So kann Europa digitale Souveränität stärken, Abhängigkeiten verringern und eigene ethische sowie regulatorische Standards wirksam umsetzen.

Techniken für vertrauenswürdige, kontrollierbare KI-Systeme

Techniken wie Fine-Tuning, Transfer-Learning oder Retrieval-Augmented Generation (RAG), aber auch Prompt-Optimierung und In-Kontext-Learning eröffnen Möglichkeiten für vertrauenswürdige, kontrollierbare KI-Systeme.

Beim Fine-Tuning wird ein bereits vortrainiertes Modell an spezifische Aufgaben mittels geeigneter Daten angepasst. Das spart Rechenressourcen und ermöglicht eine schnelle Anpassung an besondere Anforderungen, da kein vollständiges Neutraining nötig ist.

Transfer-Learning trainiert ein Modell auf Basis vorhandenen Wissens für eine verwandte Aufgabe weiter, wobei nur ein Teil der Parameter verändert wird.

Retrieval-Augmented Generation (RAG) kombiniert generative Modelle mit einer externen Datenbank, wodurch das Modell während der Antworterzeugung Informationen in Echtzeit abrufen kann. Dies erhöht Transparenz, Nachvollziehbarkeit und Genauigkeit, ohne dass ein erneutes Training nötig ist. Methoden wie das »Steering« greifen sogar in den Inference-Mechanismus von Open-Source-Modellen ein, und können so gezielt Halluzinationen unterbinden.

Prompt-Optimierung bedeutet, die Eingaben (Prompts) an ein Sprachmodell so zu formulieren und anzupassen, dass die Antworten präziser, nützlicher und vertrauenswürdiger werden.

In-Kontext-Learning: Dabei nutzt ein Sprachmodell die Beispiele oder Hinweise, die man ihm direkt im Eingabetext gibt, um daraus »on the fly« zu lernen und passendere Antworten im aktuellen Zusammenhang zu liefern.

Beispielanwendung: FhGenie der Fraunhofer-Gesellschaft

Ein Beispiel, wie Unternehmen und Einrichtungen GenAI-Technologie sicher und effizient nutzen können, ist der generative KI-Chatbot »FhGenie« der Fraunhofer-Gesellschaft. Der Dienst steht grundsätzlich allen Fraunhofer-Mitarbeitenden nach vorheriger Freischaltung der Instituts-IT (Rollenmanagement) zur Verfügung.

»FhGenie« basiert auf einem DSGVO-konformen Cloud-Dienst, der auf Microsoft-Azure-OpenAI-Modellen aufsetzt. Dabei sind Microsoft-Azure-Ressourcen wie Webapp, Storage und OpenAI Services dediziert für die Fraunhofer-Gesellschaft eingerichtet. Der Dienst-Betrieb findet ausschließlich im europäischen Wirtschafts- und Rechtraum statt. Die Daten verbleiben in der eigenen Fraunhofer MS Azure Subscription. Es werden keine Daten zum Training oder zur Optimierung verwendet, weder von Fraunhofer noch Microsoft oder OpenAI. Ein Content-Filter beugt missbräuchlicher Nutzung des Dienstes vor.

Für weitere Details geht es hier zum Paper: »FhGenie: A custom, confidentiality-preserving chat AI for corporate and scientific use« Ingo Weber et al 2024 / ICSA 2024

Pressemitteilung der Fraunhofer-Gesellschaft nach zwei Jahren FhGenie: »Hauseigene KI-Plattform FhGenie stärkt digitale Souveränität der Fraunhofer-Gesellschaft«

Sicherheitsmerkmale von GenAI-Produkten

Generative KI-Systeme wie ChatGPT, Claude oder Gemini haben sich rasant verbreitet und sind für Millionen von Nutzern zugänglich. Mit dieser Verbreitung wächst jedoch auch die Verantwortung der Anbieter, ihre Systeme vor Missbrauch zu schützen. Die größten Herausforderungen dabei sind sogenannte »Jailbreaking«-Angriffe, bei denen Nutzer versuchen, Sicherheitsvorkehrungen zu umgehen, sowie das Risiko, dass die Modelle sensible Daten preisgeben oder für schädliche Zwecke missbraucht werden.

Um diese Risiken zu minimieren, haben führende KI-Unternehmen mehrschichtige Sicherheitskonzepte entwickelt. Diese reichen von einfachen Wortfiltern bis zu komplexen Systemen wie Anthropics »Constitutional AI«, bei dem das Modell lernt, seine eigenen Ausgaben nach ethischen Prinzipien zu bewerten. Microsoft setzt bei Azure auf »Prompt Shields« zum Schutz vor Angriffen, während OpenAI systematisches »Red Teaming« betreibt – dabei versuchen Sicherheitsexperten gezielt, Schwachstellen aufzudecken. Google implementiert bei Gemini eine dreistufige Sicherheitsarchitektur mit Filterung vor, während und nach der Antwortgenerierung.

Trotz dieser Bemühungen zeigt die Forschung, dass kein System vollständig sicher ist. Aktuelle Studien dokumentieren Erfolgsraten von bis zu 100 Prozent bei gezielten Angriffen auf führende KI-Modelle. Der Vorfall mit Microsofts Bing Chat im Februar 2023, bei dem das System unerwartete und problematische Verhaltensweisen zeigte, verdeutlicht diese Verwundbarkeit. Selbst ausgereifte Sicherheitsmechanismen können durch kreative Angriffsmethoden oder unvorhergesehene Eingabekombinationen umgangen werden.