Das fragile Gleichgewicht zwischen Chancen und Risiken von GenAI – Adoption, Risiken und Governance von generativer KI

Generative Künstliche Intelligenz (GenAI) ist längst mehr als ein Buzzword – und das aus gutem Grund: Im Gegensatz zur traditionellen KI, die primär Daten analysiert, ist GenAI in der Lage eigenständig neue Inhalte wie Texte, Bilder oder Code, ja sogar neue KI-Modelle zu entwickeln. Ein (meist) humaner Auslöser, in Form eines Prompts ist dennoch notwendig. Die Generierung selbst läuft ohne weiteres manuelles Zutun ab.

Der rasante Aufstieg von Transformer-basierten Architekturen wie GPT-4, MidJourney und GitHub Copilot und die damit einhergehende einfache Zugänglichkeit und Nutzbarkeit sowie die oft hohe Geschwindigkeit der Antwortgenerierung haben die Verbreitung von KI enorm beschleunigt. Noch nie war es so einfach, Code zu generieren, überzeugende Texte zu verfassen, Songs zu komponieren oder Informationen aus verschiedenen Quellen zusammenzufassen - und zwar für alle Nutzergruppen, denn zum ersten Mal ist für den Einsatz von KI kein tiefgreifendes technisches Fachwissen erforderlich.

Mit der zunehmenden Verbreitung dieser Technologie stellen sich aber auch Fragen nach ethischen Implikationen, Sicherheitsrisiken und Governance-Maßnahmen. Wie können die enormen Chancen der generativen KI genutzt und gleichzeitig die unbestreitbaren Schattenseiten minimiert werden?

1. Generative Künstlichen Intelligenzen: Die Chance ist größer als das reine Automatisierungspotenzial

Die Faszination von GenAI liegt vor allem in ihrer Vielseitigkeit und einfachen Anwendbarkeit. Sie ermöglicht es Unternehmen, weit über die reine Automatisierung hinauszugehen und völlig neue Wertschöpfungsketten oder gar Märkte zu erschließen. Prozesse lassen sich mit GenAI in Rekordzeit optimieren oder automatisieren, kreative Inhalte entstehen in ungeahnter Vielfalt, Kundeninteraktionen werden nicht nur nach individuellen Vorlieben, sondern sogar nach aktueller Stimmung personalisiert. In nahezu allen Branchen eröffnet GenAI neue Möglichkeiten, zum Beispiel

• zur Erkennung von Cyber-Angriffen, indem sie Muster in Sicherheitswarnungen und Log-Dateien aus verschiedensten Systemen gleichzeitig analysiert und so Bedrohungen frühzeitig identifiziert.
• in der Softwareentwicklung, indem GenAI Quellcode auf Schwachstellen und bekannte Sicherheitslücken untersucht,
• oder in Banken, in denen aufwändige Berichte und Bilanzen automatisiert erstellen werden können.

Ein wesentlicher Vorteil ist die Skalierbarkeit von generativer KI, wenn Geschäftsprozesse automatisiert werden sollen. Unternehmen können Inhalte mit Leichtigkeit in verschiedenen Sprachen und mit kulturellen Kontexten für unterschiedliche Märkte generieren, ohne dass dies mit drastisch steigenden Kosten verbunden ist. Design und Architektur profitieren ebenso, da fotorealistische Visualisierungen schneller erstellt werden können als jemals zuvor.

Die Generierung von Ergebnissen mit Hilfe generativer KI ist aufgrund der breiten Verfügbarkeit der Technologie sowie der hohen Geschwindigkeit von Datenzugriff und Informationsaustausch einfach und schnell möglich. Gerade deshalb ist es adesso wichtig, seine Kunden möglichst frühzeitig und gezielt dabei zu unterstützen, die Potenziale dieser Technologie optimal zu nutzen. Hier zeigt sich jedoch eine gewisse Skepsis der DACH-Unternehmen: Während die USA und China als Vorreiter agieren und nach dem Motto „Wer zuerst handelt, schafft Fakten“ voranschreiten, verfolgen Unternehmen im deutschsprachigen Raum einen eher durchdachten, langfristigen Ansatz.

Diese Zurückhaltung ist oft auf Bedenken hinsichtlich regulatorischer Unsicherheiten, geistiger Eigentumsrechte und Datenschutzbestimmungen zurückzuführen. Zwar wird das enorme Potenzial der Technologie anerkannt, gleichzeitig sehen sich viele Unternehmen aber mit erheblichen rechtlichen und kulturellen Herausforderungen bei der Integration von GenAI in ihre Arbeitsabläufe konfrontiert. Jedoch schafft hier der EU AI Act, der im August 2024 in Kraft getreten ist, einen rechtlichen Rahmen, und bietet Unternehmen in der EU eine bessere Orientierung und schafft die Grundlage eines fairen Wettbewerbs.

Zusammenfassend lässt sich sagen, dass generative KI sowohl Behörden als auch Unternehmen die Chance bietet, stark repetitive Aufgaben zu vereinfachen, zu beschleunigen und auf ein gleichbleibendes Qualitätsniveau zu heben. Damit lassen sich bestehende (Geschäfts- beziehungsweise Behörden-) Prozesse optimieren, Durchlaufzeiten verkürzen und am Ende auch Risiken im Tagesgeschäft minimieren. Die Technologie kann zeitgleich als Ideen- beziehungsweise Impulsgeber fungieren und ein Katalysator sein. Um praktische Expertise im Umgang mit GenAI aufbauen, um die Technologie realitätsnah bewerten und eigene Anwendungsfälle sicher umsetzen, bieten sich im ersten Schritt Machbarkeitsstudien (PoC) und Pilotprojekte als wertvolle Instrumente an.

2. Die Schattenseiten: Risiken und Herausforderungen von GenAI

Chancen und Risiken liegen eng beieinander. GenAI bietet enormes Potenzial für produktive Anwendungen, birgt jedoch zugleich die Gefahr des Missbrauchs für betrügerische oder schädliche Zwecke. So können beispielsweise Deepfakes in Marketingkampagnen eingesetzt werden, um irreführende Versprechen zu verbreiten oder den Ruf von Marken zu schädigen. KI-generierte Phishing-E-Mails täuschen Mitarbeitende und können zu Datenlecks oder finanziellen Verlusten führen. Auch Cyber-Kriminelle nutzen GenAI, um Malware zu erstellen oder Social-Engineering-Angriffe gezielt auf Unternehmensstrukturen und deren Mitarbeitende abzustimmen.

Ein besonders relevantes Risiko für Unternehmen ist die Manipulation von GenAI-Anwendungen durch sogenannte Prompt Injections. Angenommen ein Chatbot wird durch eine geschickt formulierte Eingabe dazu gebracht, beleidigende oder falsche Antworten zu geben, vertrauliche Unternehmensinformationen preiszugeben oder Kunden zu schädigen. Solche manipulierten Ausgaben können erhebliche Reputationsschäden verursachen, das Vertrauen der Kundinnen und Kunden untergraben und im schlimmsten Fall zu rechtlichen Konsequenzen führen.

Doch nicht nur externe Bedrohungen sind für Unternehmen problematisch – auch bei ordnungsgemäßer Nutzung können erhebliche Schwierigkeiten auftreten. Bias, also die Voreingenommenheit von Systemen, ist ein bekanntes Problem der Large Language Models (LLM). Viele KI-Systeme sind auch für die Betreiber (Betreiber im Sinne des EU AI Act, also die Rolle beziehungsweise verantwortliche Stelle, in deren Namen die Technologie eingesetzt wird, etwa der im Impressum genannte Verantwortliche der Internetpräsenz.) dieser Technologie eine Black Box: Sie liefern Ergebnisse, die selbst Expertinnen und Experten nicht immer, oder nur mit erheblichem Aufwand, nachvollziehen können. Wenn eine KI in der Finanzbranche Kredite vergibt oder in der Personalabteilung über Bewerbungen entscheidet, ist Transparenz jedoch essenziell.

Neben den inhärenten Schwächen der Technologie selbst stellen auch gezielte Angriffe von außen eine Gefahr dar. „Adversarial Attacks“ - also feindliche Angriffe auf GenAI manipulieren die Modelle, indem sie kleine Änderungen an Eingabedaten vornehmen, die für den Menschen kaum wahrnehmbar sind, aber die KI zu völlig falschen Schlussfolgerungen führen können. Solche Angriffe können die Entscheidungsfindung in kritischen Bereichen wie der Gesundheitsversorgung oder der Justiz erheblich beeinflussen.

Diese Beispiele verdeutlichen, dass die Risiken von GenAI im Unternehmenskontext vielfältig und gravierend sein können. Es sind also ernstzunehmende Herausforderungen, die Unternehmen aktiv adressieren und im eigenen Interesse überwachen müssen.

Eine ausführliche Untersuchung der Risiken findet sich in der kürzlich überarbeiteten Untersuchung des BSI „Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden“, Bundesamt für Sicherheit in der Informationstechnik.“.

3. Governance als Lösung: Wie Unternehmen GenAI sicher nutzen können

Angesichts der vielfältigen Chancen und Risiken generativer KI ist eine durchdachte Governance-Strategie unerlässlich, um die Technologie sicher und verantwortungsvoll im Unternehmen einzusetzen. Eine effektive GenAI-Governance umfasst mehrere Dimensionen und muss den gesamten Lebenszyklus eines generativen KI-Modells berücksichtigen, die im Folgenden erläutert werden sollen.

Bereits in der Planungsphase werden die Grundlagen für eine sichere und ethische GenAI-Nutzung gelegt. Dies beinhaltet die Definition klarer Ziele und Anwendungsfälle, die Bewertung potenzieller Risiken und die Festlegung ethischer Richtlinien. Zentral in dieser Phase ist die Definition eines Governance-Rahmenwerks.

In der Entwicklungs- und Trainingsphase stehen für eigenentwickelnde Unternehmen die Auswahl geeigneter Modellarchitekturen, die Implementierung von Sicherheitsmechanismen und die Durchführung von Tests im Vordergrund. Um die Sicherheit und Zuverlässigkeit des Modells zu gewährleisten, sind die Implementierung einer Sicherheitsarchitektur, die Erhöhung der Modellrobustheit und die Durchführung von Modell-Tests von großer Bedeutung. Ausgiebige Tests, inklusive Red Teaming, sind hierbei unerlässlich. Für Unternehmen, die ein Model von einem Anbieter nutzen fällt dieser und der folgende Schritt aus.

Eine Validierungs- und Anpassungsphase dient der Überprüfung der Modellleistung und der Feinabstimmung auf spezifische Anforderungen. Hierbei ist es wichtig, die Transparenz und Erklärbarkeit des Modells zu erhöhen und Mechanismen zur Fehlererkennung und -behebung zu implementieren. Relevante Maßnahmen in dieser Phase sind die Implementierung von Modell-Monitoring, die Förderung der Erklärbarkeit und die Definition einer Fehlerbehandlung. Die Herstellung von Transparenz ist hierbei zentral.

In der darauffolgenden Betriebsphase geht es um die sichere Integration des Modells in die IT-Infrastruktur, die Implementierung von Zugriffskontrollen und die laufende Überwachung der Modellperformance und Sicherheit. Entscheidend in dieser Phase sind die Bereitstellung einer sicheren Infrastruktur, die Implementierung von Zugriffskontrollen, die Input- und Output-Validierung und die Planung der Incident Response.

Über alle Phasen der Entwicklung hinweg sind zentrale Governance-Strategien und Maßnahmen zu implementieren, die eine sichere und verantwortungsvolle GenAI-Nutzung gewährleisten. Dazu gehören neben den technischen Maßnahmen auch die Sensibilisierung und Schulung der Mitarbeitenden.

Ein fundiertes Verständnis der Chancen und Risiken von GenAI sowie der relevanten Sicherheitsaspekte ist die Basis für eine verantwortungsvolle Nutzung.

Hierbei ist vor allem noch einmal die Etablierung eines Governance-Rahmenwerks von Anfang an zu betonen. Ein klar definiertes Governance-Rahmenwerk legt Richtlinien, Prozesse und Verantwortlichkeiten für die GenAI-Nutzung im Unternehmen fest – und dies im Idealfall bereits vor der ersten Implementierung.

Fazit

Generative KI-Modelle sind Werkzeuge, die Unternehmen neue Horizonte, von der Optimierung bestehender Prozesse, bis zur Erschließung neuer Geschäftsfelder eröffnen. Um diese Technologie jedoch sicher und nachhaltig erfolgreich im Unternehmen zu etablieren, ist eine KI Governance unerlässlich. Durch durchdachte Governance-Strategien und proaktive Maßnahmen wie intelligente Filtermechanismen, umfassende Input-Validierung und robuste Sicherheitsarchitekturen können Unternehmen den Risiken generativer KI effektiv begegnen. Somit die Governance nicht zum Hemmschuh, sondern zum Enabler für sichere Innovation, der es Unternehmen ermöglicht, mutig voranzuschreiten und die Chancen der Technologie optimal zu nutzen.

Der Aufbau interner Expertise im Umgang mit GenAI und die Zusammenarbeit mit erfahrenen Partnern sind dabei von entscheidender Bedeutung. adesso steht Ihnen als vertrauenswürdiger Partner zur Seite.

Schlussbemerkung und Hinweis

Dieser Blog-Artikel wurde unter Zuhilfenahme von Künstlicher Intelligenz geschrieben – Was sagt das über Intensität, Inhalt und Qualität aus?