KI-Systeme – AI Governance

Patrick Upmann · KI-Systeme · Vorstandsebene

KI-Systeme
produzieren Entscheidungen.
Wer regiert sie?

KI-Governance beginnt nicht mehr mit einem einzelnen Anwendungsfall. Sie beginnt mit den Systemkategorien, die reale Geschäftsentscheidungen prägen: Chatbots, Scoring-Systeme, Betrugs- und Geldwäsche-Erkennungssysteme, interne Copilots und agentische KI. Jede Systemart erzeugt eine andere Governance-Belastung. Die Kernfrage ist nicht mehr, ob KI eingesetzt wird. Die Kernfrage ist, ob die durch diese Systeme geprägten Entscheidungen noch erklärt, nachvollzogen und verteidigt werden können.

5
Fünf Systemklassen erzeugen den größten Teil der aktuellen KI-Exposition
Chatbots, Entscheidungssysteme, Betrugs- und Geldwäschesysteme, Copilots und agentische KI versagen unterschiedlich und können nicht identisch reguliert werden.
Umfang
Aug
2026
Hochrisiko-KI-Pflichten werden operativ
Kreditwürdigkeit, Versicherungspreisgestaltung und beschäftigungsbezogene Systeme können je nach Verwendungszweck und Einsatzkontext in den Annex-III-Geltungsbereich fallen.
Frist
€35M
Maximale Bußgeldstufe nach dem EU AI Act
Die finanzielle Exposition ist klar. Die eigentliche Führungsfrage lautet, ob die Organisation verteidigen kann, wie das System reguliert wurde.
Druck
1
Ein fehlender Verantwortlicher kann Verteidigbarkeit zerstören
Wenn niemand den Output, den Modellstand, die Kontrollen und den Wiederprüfungsauslöser verantwortet, kann niemand den Entscheidungspfad glaubwürdig verteidigen.
Kernlogik
Rechtlicher Hinweis (April 2026): Diese Seite dient ausschließlich der allgemeinen Orientierung zu KI-Systemen, EU AI Act, DORA und branchenspezifischen Regulierungsrahmen. Sie stellt keine Rechtsberatung, keine regulatorische Einschätzung und keine Zertifizierung dar. Ob ein System als Hochrisiko einzustufen ist, hängt vom Verwendungszweck und Einsatzkontext ab und muss im Einzelfall von qualifizierten Rechtsberatern beurteilt werden.
Die strukturelle Lücke

Governance behandelt KI
noch als ein Thema.
Das ist sie nicht.

Verschiedene KI-Systeme erzeugen verschiedene Formen von Exposition. Chatbots schaffen Verhaltens- und Darstellungsrisiken. Entscheidungssysteme erzeugen Erklärungs- und Fairnessdruck. Betrugs- und Geldwäschesysteme erzeugen Triage- und Eskalationsdruck. Copilots schaffen Schatten-Nutzungs- und Datenleck-Risiken. Agentische Systeme schaffen Handlungen ohne stabile Governance-Grenzen.

Die folgenden Zahlen verbinden gesetzliche Bußgeldbereiche mit Governance-Logik, die für reale Einsatzumgebungen relevant ist. Sie sollen Entscheidungsdruck rahmen, nicht einzelfallbezogene Rechtsanalyse ersetzen.

€35M
Maximale Bußgeldstufe nach Art. 99 EU AI Act für die schwerwiegendsten Kategorien von Nichteinhaltung.
Bußgeldlogik nach Verordnung (EU) 2024/1689.
€15M
Maximale Bußgeldstufe bei Nichteinhaltung von Hochrisiko-KI-Pflichten oder 3 % des weltweiten Jahresumsatzes.
Relevant für eigenständige Annex-III-Systeme ab 2. August 2026.
5
Kern-KI-Systemklassen sollten getrennt reguliert werden statt in einem generischen KI-Kontrollmodell zusammengefasst zu werden.
Praktische Governance-Logik für Unternehmens- und regulierte Umgebungen.
1
Ein fehlender Kontrollpunkt kann die Verteidigbarkeit des gesamten Entscheidungspfads zerstören: Eigentümer, Datenquelle, Modelländerung, Überschreibung oder Protokollierung.
Rekonstruktionslogik auf Vorstandsebene.
Systemlandkarte

Fünf KI-Systemklassen.
Fünf verschiedene Governance-Belastungen.

Es genügt nicht, abstrakt über „KI“ zu sprechen. Governance muss der Architektur der tatsächlichen Systeme folgen, die Entscheidungen, Kundenergebnisse, interne Abläufe und regulatorische Exposition prägen.

01
Chatbots &
Konversations-KI
Am schnellsten skalierendes Interface. Direkter Kontakt mit Kunden, Mitarbeitern und Märkten.
Risikofokus: Verhalten, Fehlinformation, Verteidigbarkeit
02
Entscheidungs­systeme
Kredit, Scoring, Underwriting, Pricing, Empfehlungen und Priorisierungslogik.
Risikofokus: Erklärbarkeit, Fairness, Kundenwirkung
03
Betrugs- & Geldwäsche­systeme
Erkennung, Alarmierung, Triage, Anomalieerkennung und Eskalationsunterstützung.
Risikofokus: Falsch-Positive, Falsch-Negative, Eskalationsqualität
04
KI-Copilots &
interne Assistenten
Interne Wissens-, Compliance-, Rechts-, Richtlinien- und Betriebs-Copilots.
Risikofokus: Schatten-KI, Datenleck, falsche interne Abhängigkeit
05
Agentische KI-Systeme
Systeme, die nicht nur reagieren, sondern initiieren, verketten, eskalieren und handeln.
Risikofokus: Autonomie, Handlungsgrenzen, Kontrollverlust
KI-Systeme im Detail

Hier wird KI-Governance
tatsächlich operativ.

System 01
Chatbots & Konversations-KI
Chatbots sind die sichtbarsten KI-Systeme in Unternehmensumgebungen, weil sie direkt an der Interaktionsschicht sitzen. Sie beantworten Fragen, prägen Erwartungen, leiten Kunden und beeinflussen zunehmend finanzielle, operative und servicebezogene Entscheidungen in Echtzeit. Ihr Risiko ist nicht nur technisches Versagen. Ihr Risiko besteht darin, dass Organisationen im Nachhinein nicht mehr rekonstruieren können, was gesagt wurde, auf welcher Grundlage, mit welchem Modellstand, unter wessen Genehmigung und mit welchem Eskalationspfad.
Primäre Exposition
Fehlinformation, Verhaltensrisiko, undokumentierte Ausgaben, direkter Kundeneinfluss
Typische Einsatzfälle
Kundenservice, Onboarding, Produktinformation, HR-Helpdesks, interne Unterstützung
Einsatzfälle
Chat-Interfaces im Retail-Banking
Versicherungsservice-Assistenten
Mitarbeiter-HR- und Compliance-Bots
Was scheitert
Versprechen werden gemacht, Kundenanleitung ist falsch, Ausgaben werden nicht protokolliert, und Organisationen können keine einzelne Interaktion unter Druck verteidigen.
Was Governance beweisen muss
Eigentümer, Prompt- und Kontext-Governance, Output-Protokollierung, Eskalationspfad, Überschreibungslogik, Änderungsprüfung und kundenseitige Kontrollstandards.
System 02
Entscheidungssysteme
Dies sind die Systeme, die wirtschaftlich relevanten Ergebnissen am nächsten stehen. Kredit-Scoring, Underwriting-Unterstützung, Empfehlungslogik, Kundenpriorisierung, Versicherungspreisgestaltung und Auswahlmodelle können allesamt bestimmen, wer genehmigt wird, welcher Preis angeboten wird, welcher Fall eskaliert oder wie Ressourcen zugewiesen werden. Hier werden Erklärbarkeit, Fairness, Verwendungszweck und menschliche Aufsicht entscheidend. In regulierten Kontexten kann hier auch die Hochrisiko-Logik des EU AI Act direkt relevant werden.
Primäre Exposition
Kundenwirkung, Erklärbarkeitsversagen, Fairnessrisiko, regulatorische Einstufung
Typische Einsatzfälle
Kredit, Scoring, Underwriting, Pricing, Empfehlungen, Priorisierung
Einsatzfälle
Bonitätsbewertung
Versicherungsrisikobewertung und Preisgestaltung
Einstellungs- und beschäftigungsbezogenes Ranking
Was scheitert
Ein System prägt ein wesentliches Ergebnis, aber die Institution kann nicht zeigen, warum der Output entstand, ob die Datenbasis gültig war oder wo menschliche Aufsicht tatsächlich eingriff.
Was Governance beweisen muss
Risikoeinstufung, Nachvollziehbarkeit, menschliche Aufsicht, Daten-Governance, Dokumentationsbereitschaft und kontrollierte Wiederprüfung nach Änderungen.
System 03
Betrugs- & Geldwäsche-Erkennungssysteme
Betrugs- und Geldwäschesysteme operieren oft im Hintergrund, können aber erhebliche operative und finanzielle Auswirkungen haben. Sie entscheiden, was gekennzeichnet, was priorisiert, was ignoriert wird, welche Fälle zu Alarmen werden und welche Ermittler wo Zeit verbringen. Das zentrale Governance-Problem ist nicht nur die Modellqualität. Es ist die Frage, ob die Institution die Eskalationslogik versteht, Schwellenwerte erklären kann, weiß wie Falsch-Positive und Falsch-Negative behandelt werden und verteidigen kann, wie das System die Ressourcenzuweisung geprägt hat.
Primäre Exposition
Falsch-Positive, Falsch-Negative, Eskalationsverzerrung, undurchsichtige Priorisierung
Typische Einsatzfälle
Betrugserkennung, Geldwäsche-Triage, Anomalieerkennung, Alarm-Ranking, Fallweiterleitung
Einsatzfälle
Transaktionsüberwachung
Priorisierung verdächtiger Aktivitäten
Fall-Scoring und Alarm-Weiterleitung
Was scheitert
Die Institution vertraut der Alarmierungslogik, ohne erklären zu können, warum Fälle eskaliert, deprioritisiert oder übersehen wurden.
Was Governance beweisen muss
Schwellenkontrolle, Eskalationstransparenz, Modellüberwachung, Nachweisqualität und Zusammenhang zwischen System-Output und operativer Behandlung.
System 04
KI-Copilots & interne Assistenten
Interne Assistenten werden oft als geringrisikant eingestuft, weil sie nicht direkt mit Kunden interagieren. Das ist ein Fehler. Sie prägen interne Beratung, Richtlinienauslegung, Dokumentenerstattung, Compliance-Unterstützung, juristische Recherche und Wissensabruf. Sie können falsche interne Guidance im großen Maßstab verbreiten, vertrauliche Informationen preisgeben und Abhängigkeiten von Ausgaben schaffen, die nie validiert wurden. Ihre Exposition liegt in verborgener Adoption, Schattennutzung und undokumentierter Abhängigkeit innerhalb kritischer Funktionen.
Primäre Exposition
Schatten-KI, Datenleck, falsche interne Entscheidungen, undokumentierte Mitarbeiterabhängigkeit
Typische Einsatzfälle
Compliance-Copilots, Rechtsassistenten, Wissens-Bots, Betriebsunterstützung, Dokumentensuche
Einsatzfälle
Interne Rechtserstellungsunterstützung
Richtlinien- und Verfahrensassistenten
Risiko- und Betriebs-Copilots
Was scheitert
Mitarbeiter verlassen sich auf Ausgaben, die autoritativ erscheinen, während die Organisation keine echte Sichtbarkeit auf Datenflüsse, Modellherkunft oder Qualitätskontrollen hat.
Was Governance beweisen muss
Genehmigte Nutzungsgrenzen, Datenhandhabungsregeln, KI-Kompetenz der Mitarbeiter, Protokollierung, Überwachung und dokumentierte Verantwortung für interne Nutzung.
System 05
Agentische KI-Systeme
Agentische Systeme markieren den Übergang von Reaktion zu Handlung. Sie generieren nicht nur Inhalte oder Empfehlungen; sie verketten Aufgaben, rufen Werkzeuge auf, rufen Daten ab, lösen Workflows aus und bewegen sich mit zunehmender Autonomie über Schnittstellen hinweg. Das schafft eine neue Governance-Schwelle. Die Frage lautet nicht mehr nur, ob der Modell-Output korrekt war. Die Frage ist, ob das System innerhalb einer genehmigten Grenze blieb, ob Eingriffspunkte existierten und ob jemand die Aktionskette noch über mehrere Werkzeuge und Entscheidungsknoten hinweg rekonstruieren kann.
Primäre Exposition
Autonome Handlung, Kettenundurchsichtigkeit, Werkzeugmissbrauch, Grenzversagen
Typische Einsatzfälle
Workflow-Orchestrierung, interne Aktionen, Recherche-Agenten, Genehmigungsvorbereitung, mehrstufige Automatisierung
Einsatzfälle
Fallvorbereitungsagenten
Mehrstufige Recherche und Entscheidungsunterstützung
Workflow-auslösende Automatisierung
Was scheitert
Aktionsketten werden zu komplex zur Rekonstruktion, Werkzeugberechtigungen driften, und Governance setzt noch einen passiven Assistenten voraus, während das System bereits wie ein Operator handelt.
Was Governance beweisen muss
Handlungsgrenzen, Genehmigungsschleusen, Werkzeugberechtigungen, nachvollziehbare Kettenprotokolle, Eingriffskontrolle und klare Verantwortung für systeminitiierte Handlungen.
EU AI Act — Zeitplan

Was jetzt gilt.
Was als nächstes operativ wird.

Wichtige Timing-Logik: Organisationen sollten gegen den operativen gesetzlichen Stichtag des 2. August 2026 für eigenständige Hochrisiko-KI-Systeme planen. Systemdesign, Klassifizierung, Dokumentation und Aufsichtsarchitektur sollten aufgebaut werden, bevor Durchsetzungsdruck entsteht – nicht danach.
2. Feb 2025
In Kraft
Verbotene KI-Praktiken
Die erste Schicht des AI Acts ist bereits aktiv. Der unmittelbare Punkt ist nicht nur die Verbotskategorien, sondern dass Governance-Erwartungen nicht mehr theoretisch sind.
⚠ Höchste Bußgeldstufe gilt
Alle SektorenIn Kraft
2. Aug 2025
In Kraft
GPAI-Modellpflichten + KI-Kompetenz
Dies ist besonders relevant für Organisationen, die Large-Language-Model-basierte Chatbots, Assistenten und interne Copilots einsetzen. Kompetenz und Governance werden jetzt als operative Fähigkeiten erwartet, nicht als optionale Reifethemen.
LLM-SystemeAnbieter & Betreiber
2. Aug 2026
Operativ
Eigenständige Hochrisiko-KI-Systeme
Dies ist das kritische Datum für relevante Entscheidungssysteme in Kredit, Versicherung, Beschäftigung und ähnlichen Kontexten, wo Verwendungszweck und Einsatzkontext das System in die Annex-III-Logik ziehen können. Die Einstufung ist nicht automatisch, aber die Governance-Belastung ist real, wo wesentliche Kundenwirkungen bestehen.
⚠ Bis zu €15M oder 3 % des weltweiten Jahresumsatzes
KreditVersicherungBeschäftigung
2. Aug 2027
Verlängert
Eingebettete Hochrisiko-Systeme
Eingebettete regulierte Produkte folgen einem späteren Zeitplan, aber das reduziert nicht den Bedarf an Governance-Architektur heute. Verzögerung ist keine Kontrolle.
Produkteingebettete KIVerlängerter Zeitraum
Regulierte Branchen

Derselbe Systemtyp
schafft unterschiedliche Exposition
in verschiedenen Branchen.

Ein Chatbot im Einzelhandel, ein Chatbot im Banking und ein Chatbot im Gesundheitswesen sind nicht dasselbe Governance-Problem. Deshalb müssen KI-Systeme und Branchen gemeinsam betrachtet werden.

Banking & Zahlungsverkehr
Entscheidungssysteme, Betrugs- und Geldwäschesysteme, kundenseitige Chatbots und interne Copilots überschneiden sich alle mit starken Kontrollerwartungen, DORA-Druck und Prüfung auf Vorstandsebene.
Kreditbezogene KI kann in den Hochrisiko-Bereich fallen
DORA verschärft ICT-Governance-Erwartungen
Betrugs- und Geldwäschesysteme prägen operative Fallbehandlung
Lebens- & Krankenversicherung
Pricing- und Risikobewertungssysteme können direkte regulatorische Relevanz schaffen. Interne Assistenten und konversationelle Systeme schaffen zusätzliche Exposition, wo Ausgaben Kunden oder die Schadensbearbeitung betreffen.
Risikobewertungs- und Pricing-Systeme erfordern schärfere Kontrolle
Kundenkommunikationssysteme verstärken Darstellungsrisiken
DORA fügt Resilienz- und Governance-Druck hinzu
Asset Management & Investment
Empfehlungslogik, Recherche-Assistenten, interne Copilots und Workflow-Agenten können Eignung, Kommunikationsqualität, Governance-Aufzeichnungen und die Integrität des Investmentprozesses beeinflussen.
Entscheidungsunterstützung kann trotzdem Accountability auf Vorstandsebene schaffen
Agentische Systeme stellen Handlungsgrenzfragen
Copilots können wesentliche interne Urteile prägen
Familienunternehmen & Mittelstand
Die Governance-Herausforderung betrifft oft weniger rechtliche Theorie als verborgene Adoption: Chatbots, interne Assistenten und KI-gesteuerte Entscheidungen ohne Ownership, Protokollierung oder klare Grenzen.
Geringe Größe entfernt keine Governance-Pflichten
Schatten-KI ist oft am höchsten bei internen Assistenten
Ein unkontrolliertes System kann trotzdem erhebliche Exposition schaffen
Leistungen

Drei Wege, KI-Systeme
in eine verteidigbare Position zu überführen.

01
Board AI Clearance™
Eine unabhängige Governance- und Verteidigbarkeitsprüfung von KI-Systemen vor Genehmigung, Skalierung oder Tolerierung in kritischen Umgebungen.
  • Kartiert strukturelle Governance-Exposition
  • Bewertet Eigentümer, Kontrollen und Rekonstruierbarkeit
  • Erstellt eine schriftliche Einschätzung auf Vorstandsebene
02
KI-Systeme Governance Assessment
Systemspezifische Prüfung von Chatbots, Entscheidungssystemen, Betrugs- und Geldwäschesystemen, Copilots und agentischer KI gegen Governance-, Aufsichts- und regulatorische Logik.
  • Systemklassifizierung und Expositionsprüfung
  • Analyse von Protokollierung, Aufsicht und Änderungskontrolle
  • Priorisierte Behebungslogik
03
Vorstands- & Führungsbriefings
Direkte Briefings auf Vorstandsebene zu KI-Systemen, Entscheidungsverteidigbarkeit, regulatorischem Druck und was verschiedene Systemklassen in der Praxis bedeuten.
  • Keine generischen Framework-Folien
  • Klare System-für-System-Logik
  • Deutsch und Englisch
Vorgehen

Von der Systemidentifikation
zur verteidigbaren Governance.

System identifizieren
Systemkategorie, Verwendungszweck, Einsatzkontext, Schnittstellen und Geschäftswirkung klären.
Exposition bewerten
Eigentümer, Nachvollziehbarkeit, Protokollierung, Aufsicht, Drittparteienabhängigkeiten und regulatorische Relevanz prüfen.
Lücken benennen
Präzise zeigen, wo der Governance-Pfad schwächer ist als die Exposition, die das System selbst schafft.
Position stärken
Grundlage für ein verteidigbareres Genehmigungs-, Betriebs- und Wiederprüfungsmodell unter Geschäfts- und regulatorischem Druck aufbauen.
Board AI Clearance™

Bewerten Sie Ihre KI-Systeme
bevor Durchsetzung,
Audit oder Versagen es tun.

Die eigentliche Frage ist nicht, ob Ihre Organisation KI einsetzt. Die eigentliche Frage ist, ob die Systeme, die jetzt Entscheidungen prägen, noch unter Prüfung verteidigt werden können.

Erster Schritt: Identifizieren Sie, welche Ihrer Systeme bereits Exposition schaffen ohne eine stabile Governance- und Nachweisarchitektur dahinter.

Gespräch anfragen
Ein direktes Gespräch über Ihre KI-Systeme, Ihre Governance-Position und wo Exposition aktuell konzentriert ist.