Patrick Upmann · now.digital · AI Governance im Betrieb
Kritische
Entscheidungsräume.
HR-Entscheidungen. Finanzielle Entscheidungen. Wissensentscheidungen. Autonome Entscheidungen. Überall dort, wo KI Entscheidungen vorbereitet, bewertet oder ausführt, entsteht Governance-Verantwortung. Nicht abstrakt. Sondern im laufenden Betrieb.
Das Problem ist nicht die Technologie.
Das Problem ist, dass sie ohne Governance betrieben wird.
Sie gehen nicht in Systeme. Sie gehen dorthin, wo Unternehmen unter regulatorischem Druck Entscheidungen treffen.
August 2026 · Was konkret passiert
Ab August 2026 wird
AI-Governance für viele Hochrisiko-Kontexte operativ prüfbar.
Der EU AI Act folgt einem gestaffelten Zeitplan nach Art. 113. Verbotstatbestände gelten seit Februar 2025. Pflichten für Hochrisiko-KI-Systeme – insbesondere in HR und kritischen Prozessen – werden ab August 2026 anwendbar. Für bestimmte Systeme nach Art. 6(1) gelten spätere Fristen. Was das konkret bedeutet:
Ab August 2026 · Pflicht für Hochrisiko-KI
Risikomanagementsystem
Art. 9 EU AI Act: Betreiber von Hochrisiko-KI-Systemen müssen ein dokumentiertes Risikomanagementsystem über den gesamten Lebenszyklus nachweisen. Die Pflicht liegt beim Betreiber – nicht beim Anbieter. Ob ein konkretes System als Hochrisiko gilt, hängt von Einsatzkontext und Annex-III-Klassifikation ab.
Art. 9EU AI Act – Risikomanagement als Betreiberpflicht
Ab August 2026 · Pflicht für Hochrisiko-KI
Technische Dokumentation
Art. 11 + Annex IV: Systemdokumentation zu Zweck, Trainingsdaten, Leistungsgrenzen, Bias-Tests und Versionierung muss nationalen Marktaufsichtsbehörden auf Anfrage vorgelegt werden können. Diese Dokumentation muss vorhanden sein – nicht erst rekonstruiert werden.
Art. 11EU AI Act – Dokumentation als Dauerpflicht, nicht Projektoutput
Ab August 2026 · Pflicht für Hochrisiko-KI
Human Oversight – operativ
Art. 14: Natürliche Personen müssen Hochrisiko-KI-Systeme effektiv überwachen können – mit Verstehen der Fähigkeiten und Grenzen, mit Eingriffsmöglichkeit und Überschreibungsrecht. Ein formaler Bestätigungsklick ohne inhaltliche Prüfmöglichkeit erfüllt diese Anforderung nicht.
Art. 14EU AI Act – Human Oversight strukturell verankert, nicht formal deklariert
Feb 25
Verbotstatbestände
Unzulässige KI-Praktiken verboten: Social Scoring, manipulative KI, Echtzeit-Biometrie in öffentlichen Räumen (mit Ausnahmen). Gilt seit 2. Februar 2025.
Aug 25
GPAI-Modelle
Pflichten für General Purpose AI-Modelle (Art. 51 ff.). Anbieter großer Modelle wie GPT-4, Claude, Gemini müssen Transparenz- und Bewertungspflichten erfüllen.
Jetzt vorbereiten
Aug 26
High-Risk-KI-Pflichten anwendbar
Für viele Hochrisiko-KI-Systeme – insbesondere in HR und kritischen Prozessen – werden Betreiberpflichten nach Art. 6 ff. anwendbar. Art. 6(1)-Systeme können spätere Fristen haben. Jetzt ist der Zeitpunkt zur Vorbereitung.
Aug 27
Vollständige Geltung
Alle verbleibenden Bestimmungen des EU AI Act treten in Kraft. Marktaufsicht durch nationale Behörden und European AI Office vollständig operativ. Bußgeldrahmen nach Art. 99: abgestuft je nach Art des Verstoßes.
Hinweis: Strategisches Governance-Positionierungsdokument. Keine Rechtsberatung. Alle regulatorischen Angaben zur Orientierung. Soweit konkrete Zahlen genannt werden, ist die jeweilige Quelle direkt angegeben. Alle Produktnamen sind Marken der jeweiligen Inhaber.
Workday HCM · EU AI Act Annex III · HR-Entscheidungsraum · Tier 1
Workday HR
Workday beeinflusst Einstellungen, Bewertungen und Karrieren. Damit greift der EU AI Act direkt in Ihr HR-System. Das ist kein IT-Thema. Das ist eine Frage der Leitungsverantwortung.
▸ Board Moment
Können Sie eine Workday-Entscheidung innerhalb von 24 Stunden vollständig erklären und regulatorisch verteidigen?
Entscheidungsrelevante KI-Funktionen – alle High Risk nach EU AI Act
🎯
Recruiting ScoringAlgorithmische Vorauswahl – Annex III, Nr. 4a
High Risk
🔗
Talent MatchingKI-Zuordnung Kandidaten zu Stellen – entscheidungsrelevant
High Risk
📈
Performance ScoresAlgorithm. Leistungsbewertung – Annex III, Nr. 4b
Succession PlanningAutomatisierte Karriere- und Nachfolgeprognosen
High Risk
① Warum kritisch – nicht optional
HR-KI ist per Gesetz Hochrisiko. Ab August 2026 werden Betreiberpflichten für viele HR-KI-Kontexte operativ prüfbar.
EU AI Act · Annex III
High Risk: HR & Beschäftigung
Einstellung, Beförderung, Leistungsbewertung – explizit in Annex III Nr. 4. Konformitätsbewertung, Risikomanagementsystem, technische Dokumentation Pflicht ab August 2026.
Kritisch · Aug. 2026
DSGVO Art. 22 · BDSG §26
Automatisierte Entscheidungen
Beschäftigte dürfen nicht ausschließlich automatisierten Entscheidungen mit erheblicher Wirkung unterworfen werden. Widerspruchsrecht strukturell sicherstellen – nicht nur deklarieren.
Hohe Priorität
§87 BetrVG
Zwingende Mitbestimmung
Technische Einrichtungen zur Leistungs- und Verhaltensüberwachung: zwingende Mitbestimmung. Ohne Betriebsvereinbarung zu KI-Funktionen ist das Deployment rechtlich angreifbar – unabhängig davon, ob die KI-Funktion vom Anbieter als Standard aktiviert wurde.
Mittel–Hoch
Leitungsverantwortung
Betreiber – nicht Anbieter
Workday ist Anbieter. Die Compliance-Verantwortung für Hochrisiko-KI liegt beim Betreiber. Das Workday-Vertragswerk überträgt keine regulatorische Pflicht auf den Anbieter – die Organisation ist verantwortlich.
Kritisch
② Wo konkret Risiko entsteht
Risiko entsteht nicht bei Go-Live. Es entsteht täglich – bei jedem Score, jeder Empfehlung, jedem Klick auf „Bestätigen“.
Risiko 01
Kein Risikomanagementsystem
EU AI Act Art. 9 fordert ein dokumentiertes Risikomanagementsystem über den gesamten Lebenszyklus. In der Praxis existiert dieses für KI-gestützte Workday-Funktionen in vielen Organisationen nicht – weder beim Anbieter übernehmbar noch intern aufgebaut.
Risiko 02
Human Oversight nur formal
„Jemand klickt auf Bestätigen“ ist keine operative Aufsicht. EU AI Act Art. 14 fordert inhaltliches Verstehen und Eingriffsmöglichkeit. In vielen Organisationen fehlt beides: das Verstehen der KI-Grundlage und der strukturelle Prozess zur Überschreibung.
Risiko 03
Betriebsrat nicht einbezogen
Ohne Betriebsvereinbarung zu KI-gestützten HR-Funktionen ist das Deployment mitbestimmungsrechtlich angreifbar. Laut Bitkom-Studie 2024 haben nur 17 % der deutschen Unternehmen eine entsprechende Betriebsvereinbarung.
17%mit Betriebsvereinbarung zu KI im HR (Bitkom 2024)
③ Warum bestehende Ansätze scheitern
Governance als Projekt endet. Workday-KI-Betrieb nicht.
Das strukturelle Problem: Jedes Workday-Release bringt neue KI-Features. Governance-Projekte reagieren nicht – sie enden.
Was meistens passiert
Richtlinie erstellt → Projekt abgeschlossen
DPIA dokumentiert → einmalig, nie aktualisiert
Betriebsvereinbarung unterschrieben → fertig
Workday Release: neue KI-Features → niemand prüft
Behörde prüft → keine aktuellen Nachweise
Beschäftigter widerspricht → kein Prozess vorhanden
Was Betrieb bedeutet
Kontinuierliches Monitoring der KI-Entscheidungen
Anpassung der DPIA bei jedem Workday-Update
Laufende Betriebsratskoordination bei Änderungen
Widerspruchsprozess strukturell verankert
Behördenanfrage: Dokumentation sofort abrufbar
Jederzeit verteidigbar – nicht nur am Go-Live-Tag
④ Was wir anders machen – Betrieb
Wir betreiben AI Governance für Workday HR – als dauerhafte Steuerungsfunktion, nicht als Projekt.
SAP S/4HANA · Finance & Core · DORA · SOX · HGB · Tier 1 · Größter Budget-Hebel
SAP / Finance KI
SAP entscheidet nicht sichtbar – aber es steuert finanzielle Realität. Der Vorstand trägt Leitungsverantwortung. KI-gestützte Buchungen fließen in den Abschluss ein.
▸ Board Moment
Kann Ihr Wirtschaftsprüfer nachvollziehen, welche SAP-Entscheidungen KI-gestützt entstanden sind – und wer dafür Prüfungs- und Kontrollpflichten trägt?
Entscheidungsrelevante KI-Funktionen – direkt vorstandsrelevant
📒
Automatisierte BuchungenKI-gestützte Verbuchung – im Jahresabschluss wirksam
Audit Risk
🔮
Financial Forecasting AIML-basierte Umsatz- und Kostenprognosen – Leitungsrelevanz
Leitungsrelevant
⚠️
Risk ScoringAutomatisiertes Kredit- und Lieferantenrisiko-Rating
High Risk
🤝
Supplier IntelligenceKI-gestützte Lieferantenbewertung und -selektion
Entscheidungsrelevant
① Warum kritisch – nicht optional
Finance-KI trägt Prüfungs- und Kontrollrelevanz auf Leitungsebene. Nicht alle SAP-Funktionen fallen unter EU AI Act High Risk – aber alle unterliegen Audit-, Rechnungslegungs- und Governancepflichten.
DORA · ICT Risk
Operational Resilience
Im Finanzsektor gilt DORA seit 17. Januar 2025: KI-gestützte Kernsysteme müssen operational resilient sein. SAP als kritischer ICT-Drittanbieter ist laufend zu überwachen und zu dokumentieren.
Finanzsektor · Jetzt
SOX / HGB
Rechnungslegungspflicht
Automatisierte Buchungen und KI-Forecasts berühren Rechnungslegungspflichten direkt. Wirtschaftsprüfer erwarten Nachvollziehbarkeit wesentlicher Systementscheidungen – das gilt unabhängig vom EU AI Act.
Kritisch
EU AI Act · kontextabhängig
Hochrisiko nur bei passendem Scope
SAP Finance-KI fällt nicht pauschal unter EU AI Act High Risk. Relevant wird der EU AI Act dort, wo KI-gestützte Systeme in klassifizierten Bereichen (z.B. Kreditbewertung natürlicher Personen) eingesetzt werden.
Kontextabhängig
Leitungsverantwortung
Prüfungs- und Kontrollpflichten
Leitungsorgane tragen Prüfungs- und Kontrollpflichten für den Jahresabschluss. KI-gestützte Buchungen und Forecasts fließen ein. Ohne Governance: Unterschrift auf Basis unkontrollierter Automatisierung.
Leitungsrelevant
② Wo konkret Risiko entsteht
Das Risiko entsteht dort, wo niemand mehr weiß, wie eine Finanzzahl zustande kam.
Risiko 01
Unkontrollierte Automatisierung
Buchungen, Freigaben und Risiko-Scores entstehen automatisiert – ohne dokumentierten Nachweis, welche KI-Logik welche Entscheidung getroffen hat. Im Prüfungsfall durch Wirtschaftsprüfer oder Behörden: nicht ohne Weiteres verteidigbar.
Risiko 02
Gestiegener Prüfungsdruck
Wirtschaftsprüfer fordern zunehmend Transparenz über wesentliche automatisierte Systementscheidungen. KI-Blackboxes in Finance sind prüfungsrechtlich schwierig – und DORA erhöht diese Anforderungen im Finanzsektor nochmals.
Risiko 03
Governance-Lücke nach Go-Live
KI-Funktionen in SAP werden aktiviert – und laufen dann ohne laufende Überwachung der Entscheidungslogik. Datenenqualitätsprobleme, Modell-Drift und unkontrollierte Konfigurationsänderungen akkumulieren sich unsichtbar.
③ Warum bestehende Ansätze scheitern
SAP-Governance endet beim Go-Live. Finance-KI-Risiken entstehen danach – täglich.
Klassische SAP-Projekte fokussieren auf Implementierung und Datenmigration. Die KI-Entscheidungslogik im Betrieb bleibt unüberwacht.
Was meistens passiert
SAP geht live → KI-Funktionen aktiv → kein Monitoring
Automatische Buchungen laufen → kein Audit-Trail
Forecast-KI liefert Zahlen → Herkunft unklar
Wirtschaftsprüfer fragt → Antwort nicht möglich
DORA-Anforderungen → nicht strukturiert umgesetzt
Was Betrieb bedeutet
Laufendes Monitoring der KI-Buchungslogik
Vollständiger Audit-Trail für automatisierte Entscheidungen
Copilot greift auf unternehmensweites Wissen zu – ohne klassische Systemgrenzen. Das ist kein Chatbot. Das ist unkontrollierter Zugriff auf Ihr Unternehmenswissen im Maßstab.
▸ Board Moment
Wissen Sie, auf welche Daten Copilot aktuell zugreift – und was er daraus generiert, in wessen Namen?
Das strukturelle Risiko – anders als Workday oder SAP
📂
Unkontrollierter DatenzugriffSharePoint, Teams, Mails, Dateien – alles was der User sehen darf
Data Risk
✍️
Generierung ohne KontrolleMails, Reports, Präsentationen – automatisch, ohne Prüfung
Output Risk
👻
Shadow AI parallel71 % nutzen KI ohne IT-Wissen (Microsoft Work Trend Index 2024)
Kritisch
🔮
Hallucination in Business-KontextFalsche Zahlen in Verträgen, Kundenmails, Finanzreports
Haftungsrisiko
① Warum kritisch – nicht optional
Copilot ist anders als Workday. Das Risiko liegt nicht in Entscheidungen über Menschen – sondern im unkontrollierten Zugriff auf Ihr gesamtes Unternehmenswissen.
DSGVO · Datenzugriff
Personenbezogene Daten ohne Kontrolle
Copilot greift auf alle Daten zu, auf die der Nutzer Zugriff hat – inklusive personenbezogener Daten Dritter: HR-Akten, Kundendaten, M&A-Unterlagen. DSGVO-Zweckbindung und Zugriffskontrollen sind strukturell sicherzustellen.
Kritisch
NIS2 · Cybersecurity
Prompt Injection als Angriffsvektor
Copilot kann durch manipulierte Dokumente oder E-Mails für Prompt Injection missbraucht werden – ein Angreifer bringt KI dazu, sensible Daten preiszugeben oder fehlerhafte Aktionen auszuführen. NIS2 verlangt Schutzmaßnahmen auch für KI-Systeme.
Sicherheitsrisiko
Interne Policies
Shadow AI & Kontrollverlust
71 % der Mitarbeiter nutzen KI-Tools ohne IT-Wissen (Microsoft Work Trend Index 2024). Copilot ist offiziell ausgerollt – aber die Nutzung findet ohne Governance statt. Das ist kein Awareness-Problem. Das ist ein Struktur-Problem.
Mittel–Hoch
DORA · Finance
Operational Resilience für Finance-Sektor
Im Finanzsektor: Copilot als ICT-Werkzeug unterliegt DORA-Anforderungen. Operational Resilience, ICT-Risikodokumentation und Third-Party-Risk-Management auch für Microsoft als Anbieter.
Sektorspezifisch
② Wo konkret Risiko entsteht
Das Copilot-Risiko ist diffus. Es entsteht überall – in jedem Team, bei jedem Nutzer, mit jedem Prompt. Deshalb ist es gefährlicher als HR- oder Finance-KI.
Risiko 01
Over-sharing: HR, M&A, Vertrauliches
Copilot gibt Nutzern Zugang zu Daten, die technisch freigegeben, faktisch aber nicht für sie bestimmt sind: Personalakten, M&A-Unterlagen, Vorstandsdokumente. Alles indexiert, alles erreichbar – sofern keine strukturierten Zugriffskontrollen der Datenbasis vorhanden sind.
Risiko 02
Hallucination in Geschäftsdokumenten
Copilot generiert überzeugend formulierte Inhalte – und kann dabei faktisch falsch liegen. Falsche Zahlen in Finanzreports, nicht belegbare Klauseln in Vertragsentwürfen, fehlerhafte Kundenkommunikation: ohne strukturiertes Review entsteht ein Vier-Augen-Prinzip-Problem.
Risiko 03
Kein Audit-Trail
Wer hat welchen Prompt gesendet? Welche Daten wurden genutzt? Welches Dokument erzeugt? In den meisten Organisationen: keine strukturierten Antworten. Im Haftungs- oder Prüfungsfall ist das ein wesentlicher Nachteil.
③ Warum bestehende Ansätze scheitern
Copilot wird ausgerollt. Eine Nutzungsrichtlinie ins Intranet gestellt. Und dann passiert – nichts. Governance nicht.
Microsoft stellt das Werkzeug. Die Kontrolle über seinen Einsatz liegt bei der Organisation. Richtlinien ohne Struktur sind keine Governance.
Was meistens passiert
Copilot-Lizenz ausgerollt → Schulung → fertig
Nutzungsrichtlinie ins Intranet gestellt
Keine Zugriffskontrollen auf Datenbasis vor Aktivierung
Shadow AI wächst parallel unkontrolliert weiter
Audit-Anfragen können nicht beantwortet werden
Was Betrieb bedeutet
Datenbasis bereinigt bevor Copilot indexiert
Prompt Governance: was darf generiert werden
Nutzungstransparenz: wer nutzt was, wann, wie
Anomalie-Erkennung bei ungewöhnlichem Datenzugriff
Audit-Trail für jede relevante Copilot-Aktion
④ Was wir anders machen – Betrieb
Wir betreiben Governance für Microsoft Copilot – Zugriffskontrolle, Prompt Governance, Nutzungstransparenz als Dauerfunktion.
🔐
Zugriffssteuerung
Datenbasis bereinigen bevor Copilot indexiert. Wir steuern, was KI sehen darf – strukturell, nicht durch Hoffnung auf korrekte Nutzung.
💬
Prompt Governance
Richtlinien, was Copilot generieren darf – in Betriebsprozesse eingebettet. Nicht als Policy-PDF. Als operative Steuerung.
👁️
Nutzungstransparenz
Wer nutzt Copilot, welche Daten fließen, welche Outputs entstehen. Laufend sichtbar. Nicht erst im Schadensfall rekonstruiert.
🛡️
Risikoüberwachung
Automatisierte Erkennung von Governance-Verstößen und ungewöhnlichem Datenzugriff. Eskalation, Dokumentation, Korrektur – sofort.
Kein Projekt. Kein Go-Live. Dauerhafter Betrieb.
⑤ Wie der Einstieg aussieht – Governance Check
Governance Check: Microsoft Copilot
Wir prüfen, auf welche Daten Copilot zugreift, welche Risiken konkret bestehen – und was sofort getan werden muss.
01
Datenzugriff
Was indexiert Copilot? Welche sensiblen Daten sind erreichbar? Sofortdiagnose der Datenbasis – vor jeder weiteren Nutzung.
02
Nutzungsanalyse
Wie wird Copilot eingesetzt? Wo existiert Shadow AI? Wer nutzt was ohne Governance? Transparenz über die tatsächliche Nutzungssituation.
03
Betriebsplan
Zugriffskontrollen, Prompt Governance, Monitoring-Architektur – konkret und umsetzbar. Nicht generisch.
Salesforce Einstein AI · Commercial-Entscheidungsraum · Tier 2 · Wachstum
Salesforce Einstein AI
KI entscheidet, welcher Kunde relevant ist. Welcher Deal gewonnen wird. Welcher Preis gilt. Oft ohne jede Kontrolle – und mit kartellrechtlichem Risiko.
▸ Board Moment
Weiß Ihr CRO, nach welcher Logik Einstein AI Leads bewertet – und ob diese Logik diskriminierungsfrei und kartellrechtskonform ist?
KI-gestützte Kundenbewertung kann diskriminieren. Pricing-KI kann kartellrechtlich relevant werden. Beide Risiken entstehen unsichtbar.
DSGVO · Profiling
Automatisiertes Kundenprofiling
Customer Scoring und Lead-Bewertung sind automatisiertes Profiling nach DSGVO. Transparenzpflichten und Widerspruchsrechte gelten auch im B2B-Kontext bei natürlichen Personen.
Mittel–Hoch
Antidiskriminierung
Bias in Customer Scoring
KI-Modelle reproduzieren systematisch Verzerrungen aus historischen Daten. Ohne Bias-Kontrolle: rechtliches und Reputationsrisiko. 41 % der Scoring-Modelle zeigen statistisch signifikanten Bias.
Kritisch
Kartellrecht
Algorithmische Preiskoordination
Wenn Pricing-KI Marktdaten nutzt und Preisempfehlungen erzeugt, kann das als koordiniertes Preisverhalten gewertet werden – auch ohne explizite Absprache zwischen Unternehmen.
Hohe Priorität
Forecast-Haftung
KI-Prognosen im Vorstandsbericht
KI-Forecasts, die in Vorstandsberichte, Investorenkommunikation oder M&A-Prozesse einfließen, schaffen Haftungsfragen bei Abweichungen – wenn die Modellbasis nicht dokumentiert ist.
Vorstandsrelevant
② Wo konkret Risiko entsteht
Commercial-KI ist der blinde Fleck – weil Vertrieb keine Governance-Kultur hat und niemand die Modelllogik hinterfragt.
Risiko 01
Bias im Lead Scoring
Einstein AI lernt aus historischen Vertriebsdaten. Wenn diese strukturelle Verzerrungen enthalten, reproduziert die KI sie – systematisch, skaliert, ohne Sichtbarkeit. Regelmäßige Bias-Audits von Scoring-Modellen finden in der Praxis selten statt.
Risiko 02
Forecast ohne Modellbasis
KI-Forecasts fließen in Leitungsentscheidungen ein. In vielen Organisationen kennt niemand die Modellbasis: welche Daten, welche Logik, welche Plausibilitätsgrenzen. Im Schadensfall ist diese Lücke nicht schließbar.
Risiko 03
Pricing ohne Compliance-Check
Algorithmische Preisempfehlungen können kartellrechtlich relevant werden, wenn sie Marktdaten verarbeiten und koordinierende Wirkung entfalten – auch ohne explizite Absprache. In der Praxis findet ein kartellrechtlicher Compliance-Check für Pricing-KI selten statt.
③ Warum bestehende Ansätze scheitern
Vertrieb will Geschwindigkeit. Governance bremst. Deshalb gibt es sie nicht. Das ist das Problem.
Weil das Risiko mit jedem Deal skaliert, der auf Basis unkontrollierter KI-Scores entsteht.
Was meistens passiert
Einstein AI aktiviert → Vertrieb nutzt es → fertig
Agentic AI · Autonome Entscheidungen · Thought Leadership · Tier 2
Agentic AI
Agenten handeln – ohne dass Organisationen es kontrollieren können. Das ist kein Zukunftsszenario. Das ist der Stand von 2025.
▸ Board Moment
Können Sie beschreiben, was Ihre KI-Agenten heute, in diesem Moment, tun – und in wessen Namen sie handeln?
Agentic AI im Unternehmenseinsatz – Realität 2025
🔗
Multi-Step WorkflowsAgenten planen, delegieren, führen aus – eigenständig
Unkontrolliert
🛠️
Tool Use & API-CallsAgenten rufen Systeme, Datenbanken, externe APIs auf
Expositionsrisiko
🧠
Autonome EntscheidungenKeine menschliche Prüfung im Loop – je nach Konfiguration
Hochrisiko
📧
KommunikationsagentenKI-Agenten versenden Mails, erstellen Verträge, buchen Termine
Haftungsrisiko
① Warum kritisch – nicht optional
Agentic AI schafft eine neue Governance-Kategorie: autonome Handlung ohne klaren menschlichen Eigentümer. Das ist regulatorisch Neuland – mit klarer Haftungslage.
EU AI Act · Agentic
Autonome Systeme im Scope
Die EU-Kommission hat klargestellt: agentic AI-Systeme fallen unter den EU AI Act. Betreiber tragen die volle Compliance-Verantwortung – für jede Agentenhandlung, nicht nur für die Systemkonfiguration.
Kritisch · 2026
Haftungsrecht
Wer haftet für Agenten-Handlungen?
Wenn ein Agent einen Vertrag initiiert, eine Mail sendet, Daten verändert oder eine Transaktion auslöst: Die KI haftet nicht. Der Anbieter haftet nicht. Die Organisation haftet – vollständig.
Kritisch
DSGVO
Datenzugriff ohne Zweckbindung
Agenten greifen autonom auf Daten zu, ohne dass jede Aktion einer expliziten DSGVO-Zweckbindung entspricht. Ohne strukturierte Governance: systematische DSGVO-Verletzung im Dauerbetrieb.
Hohe Priorität
Governance-Leerstelle
Keine Accountability-Struktur
Ohne klare Eigentümerschaft, Berechtigungsgrenzen und vollständige Protokollierung handeln Agenten in einem rechtlichen und organisatorischen Vakuum. Das ist der gefährlichste Zustand.
Kritisch
② Wo konkret Risiko entsteht
Agentisches Risiko ist nicht theoretisch. Es entsteht bei jedem Workflow, den niemand konfiguriert hat zu stoppen.
Risiko 01
Unklare Handlungsgrenzen
Was darf der Agent tun? Was nicht? Wann muss er stoppen und eskalieren? In der Praxis sind diese Grenzen vor dem ersten Produktiveinsatz selten vollständig definiert. Der Agent handelt dann nach interner KI-Logik – nicht nach Unternehmensinteresse oder Compliance-Anforderungen.
Risiko 02
Kein vollständiger Audit-Trail
Was hat der Agent getan? Welche Daten genutzt? Welche Systeme aufgerufen? Welche Outputs erzeugt? Vollständige Aktions-Audit-Trails sind für agentic AI-Systeme in vielen Deployments nicht implementiert – mit gravierenden Folgen im Prüfungsfall.
Risiko 03
Prompt Injection
Agenten können durch manipulierte Daten oder Dokumente dazu gebracht werden, unerwünschte Aktionen auszuführen. Dieses Angriffsmuster steht auf der OWASP Top 10 für LLM-Applikationen (2024) an erster Stelle – und ist in Governance-Diskussionen häufig unbekannt.
#1Kritischstes Sicherheitsrisiko für LLM-Applikationen (OWASP Top 10 for LLMs, 2024)
③ Warum bestehende Ansätze scheitern
Agentic AI wird als Tech-Experiment behandelt. Governance wird für „später“ geplant. Das ist strukturell falsch.
Der Moment der ersten autonomen Handlung ist der Moment, ab dem Governance hätte vorhanden sein müssen.
Was meistens passiert
Pilot startet → Agent handelt → keine Grenzen definiert
Kein Berechtigungsmodell für Systemzugriffe
Kein Human-in-the-Loop für kritische Schritte
Kein Audit-Trail der Agentenaktionen
Governance-Diskussion für „Phase 2″ geplant
Was Betrieb bedeutet
Handlungsgrenzen definiert vor erstem Produktiveinsatz
Berechtigungsmodell: was darf der Agent berühren
Human-in-the-Loop für kritische Entscheidungsschritte
Vollständiger Aktions-Audit-Trail von Tag 1
Laufende Überwachung aller Agentenhandlungen
④ Was wir anders machen – Betrieb
Wir betreiben Governance für agentic AI – bevor, während und nach dem ersten Einsatz. Dauerhaft.
🚧
Handlungsgrenzen
Wir definieren, was Agenten dürfen und was nicht – und bauen technische und organisatorische Stopplinien ein. Keine Hoffnung. Struktur.
👁️
Aktions-Monitoring
Laufende Überwachung aller Agentenhandlungen. Jeder API-Call, jede Datenbewegung, jede Output-Generierung – protokolliert und auswertbar.
🔐
Berechtigungsmodell
Minimaler Datenzugriff, begrenzte Systemrechte, explizite Freigaben für jede Aktion-Klasse. Nicht Standard-Konfiguration übernehmen.
🛡️
Prompt Injection Defense
Technische und prozessuale Schutzmaßnahmen gegen Manipulation von Agenten durch externe Inputs – Dokumente, Mails, Daten.
Kein Projekt. Kein Go-Live. Dauerhafter Betrieb.
⑤ Wie der Einstieg aussieht – Governance Check
Governance Check: Agentic AI
Wir prüfen, welche Agenten-Systeme aktiv sind, welche Handlungen unkontrolliert entstehen – und bauen Governance vor dem nächsten Einsatz auf.
01
Agenten-Inventar
Alle aktiven agentic AI-Systeme erfassen. Handlungsgrenzen, Systemzugriffe und Protokollierung pro Agent bewerten.
02
Risikoexposition
Wo handeln Agenten heute ohne Governance? Kritische Lücken identifizieren. Sofortige Maßnahmen definieren.
03
Betriebsplan
Aufbau der laufenden Governance-Funktion für agentic AI – skalierbar, auditierbar, regulatorisch vertretbar.
Das Problem ist nicht die Technologie. Das Problem ist, dass sie ohne Governance betrieben wird.
Systemvergleich · Entscheidungsräume unter regulatorischem Druck
Fünf Entscheidungsräume. Ein Governance-Problem.
Entscheidungsraum
System
Risikotyp
Primäre Regulatorik
Budget-Hebel
Dringlichkeit
HR-Entscheidungen
Workday HCM
Entscheidungen über Menschen
EU AI Act Annex III · DSGVO Art. 22 · §87 BetrVG
CHRO · BR · Legal
Kritisch · Aug. 26
Finanzielle Entscheidungen
SAP S/4HANA
Automatisierte Finance-KI
DORA · SOX · HGB · interne Kontrolle
CFO · Audit · Leitungsebene
Größter Budget-Hebel
Wissensentscheidungen
Microsoft Copilot
Unkontrollierter Datenzugriff
DSGVO · NIS2 · DORA (Finance)
CIO · CISO · DPO
Überall · Sofort
Commercial-Entscheidungen
Salesforce Einstein
Bias · Pricing · Kartellrecht
DSGVO Profiling · Kartellrecht
CCO · CRO · Legal
Phase 2
Autonome Entscheidungen
Agentic AI
Handlung ohne Eigentümer
EU AI Act · Haftungsrecht · DSGVO
CTO · Legal · Board
Thought Leadership
Governance Check · Alle Entscheidungsräume
Bevor Ihre Systeme für Sie entscheiden – stellen Sie sicher, dass Governance mitläuft.
Ein Governance Check klärt für jeden Ihrer kritischen Entscheidungsräume: Wo besteht regulatorische Exposition? Was muss vor August 2026 getan werden? Wie sieht dauerhafter Governance-Betrieb aus?
Welche KI-Funktionen in Ihren Systemen aktiv und regulatorisch relevant sind
Wo konkrete Risiken nach EU AI Act, DSGVO, DORA und sektorspezifischen Regelungen bestehen
Was vor August 2026 vorbereitet werden sollte – priorisiert nach regulatorischem Druck und Leitungsrelevanz
Wie Governance operativ als laufende Steuerungsfunktion aufgebaut wird – kein Projekt, kein Go-Live
Strategisches Governance-Positionierungsdokument. Keine Rechtsberatung. Alle regulatorischen Angaben dienen der Orientierung und ersetzen keine rechtliche Fachberatung. Alle Produktnamen sind Marken der jeweiligen Inhaber. Soweit konkrete Studienzahlen genannt werden, sind die jeweiligen Quellen direkt angegeben. EU AI Act Artikel-Referenzen beziehen sich auf den finalen Gesetzestext (ABl. L 2024/1689). DORA: Verordnung (EU) 2022/2554, gültig ab 17. Januar 2025.