Warum muss die Verwendung künstlicher Intelligenz reguliert werden?
Der potenzielle Nutzen der künstlichen Intelligenz (KI) für unsere Gesellschaften ist vielfältig und reicht von einer besseren medizinischen Versorgung bis hin zu besserer Bildung. Angesichts der raschen technologischen Entwicklung der KI hat die EU beschlossen, jetzt gemeinsam zu handeln, um diese Chancen zu ergreifen.
Das KI-Gesetz der EU ist die weltweit erste umfassende gesetzliche Regelung für KI. Ziel ist es, die Risiken für die Gesundheit, die Sicherheit und die Grundrechte zu mindern. Die Vorschriften schützen auch die Demokratie, die Rechtsstaatlichkeit und die Umwelt.
Von den meisten KI-Systemen geht nur ein geringes oder gar kein Risiko aus. Mit einigen KI-Systemen gehen jedoch Risiken einher, die jetzt angegangen werden müssen, damit es nicht zu unerwünschten Ergebnissen kommt.
So kann beispielsweise die Undurchsichtigkeit vieler Algorithmen zu Unsicherheiten führen und eine wirksame Durchsetzung der bestehenden Rechtsvorschriften im Bereich der Sicherheit und der Grundrechte behindern. Zur Bewältigung dieser Herausforderungen waren gesetzgeberische Maßnahmen nötig geworden, um einen gut funktionierenden Binnenmarkt für KI-Systeme zu ermöglichen, der sowohl die Vorteile als auch die Risiken angemessen berücksichtigt.
Gefahren lauern vor allem bei Anwendungen wie biometrischen Identifizierungssystemen oder KI-gestützten Entscheidungen, die wichtige persönliche Interessen berühren, z. B. in den Bereichen Personaleinstellung, Bildung und Erziehung, Gesundheitsversorgung oder Strafverfolgung.
Dank der jüngsten Fortschritte in der KI-Entwicklung ist gerade auch die generative KI immer leistungsfähiger geworden. Sogenannte „KI-Modelle mit allgemeinem Verwendungszweck“, die in zahlreiche KI-Systeme integriert sind, werden so wichtig für unsere Wirtschaft und Gesellschaft, dass sich nicht unreguliert gelassen werden können. In Anbetracht der potenziellen systemischen Risiken führt die EU daher wirksame Vorschriften und eine wirksame Beaufsichtigung ein.
Welche Risiken sollen mit den neuen KI-Vorschriften angegangen werden?
Die Einführung von KI-Systemen verspricht große gesellschaftliche Vorteile, mehr Wirtschaftswachstum und Innovation und eine gesteigerte weltweite Wettbewerbsfähigkeit der EU. In bestimmten Fällen können jedoch die besonderen Merkmale bestimmter KI-Systeme neue Risiken in Bezug auf die Sicherheit der Nutzer und die Wahrung der Grundrechte mit sich bringen. Einige leistungsstarke und weitverbreitete KI-Modelle könnten sogar systemische Risiken bergen.
Dies führt zu Rechtsunsicherheit für Unternehmen und – mangels Vertrauen – zu einer möglicherweise langsameren Verwendung von KI-Technik durch Unternehmen und Bürger. Unterschiedliche Regulierungsmaßnahmen nationaler Behörden könnten zu einer Fragmentierung des Binnenmarkts führen.
Für wen wird das KI-Gesetz gelten?
Der Rechtsrahmen wird sowohl für öffentliche als auch für private Akteure innerhalb und außerhalb der EU gelten, sofern das KI-System in der Union in Verkehr gebracht wird oder Menschen in der EU von seiner Verwendung betroffen sind.
Es erfasst sowohl Anbieter (z. B. Entwickler eines Auswertungsprogramms für Lebensläufe) als auch Entwickler von KI-Systemen mit hohem Risiko (z. B. eine Bank, die dieses Auswertungsprogramm anschafft). Die Importeure von KI-Systemen müssen zudem sicherstellen, dass der ausländische Anbieter bereits das entsprechende Konformitätsbewertungsverfahren durchgeführt hat, das Produkt mit einer europäischen Konformitätskennzeichnung (CE) versehen ist und die erforderlichen Unterlagen und Gebrauchsanweisungen beigefügt sind.
Darüber hinaus sind für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (zu denen auch große generative KI-Modelle gehören) bestimmte Verpflichtungen vorgesehen.
Anbieter kostenloser und quelloffener KI-Modelle sind von den meisten dieser Verpflichtungen aber befreit. Diese Ausnahme gilt jedoch nicht für die Verpflichtungen der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, die systemische Risiken bergen.
Die Verpflichtungen gelten auch nicht für Tätigkeiten der Forschung, Entwicklung und Prototypentwicklung, die der Markteinführung vorausgehen. Überdies gelten die Vorschriften nicht für KI-Systeme, die ausschließlich den Zwecken des Militärs, der Verteidigung oder der nationalen Sicherheit dienen, unabhängig von der Art der Einrichtung, die solche Tätigkeiten durchführt.
Welche Risikoeinstufungen gibt es?
Die Kommission schlägt einen risikobasierten Ansatz mit vier Risikostufen für KI-Systeme sowie die Ermittlung spezifischer Risiken für KI-Modelle mit allgemeinem Verwendungszweck vor:
- Minimales Risiko: Alle anderen KI-Systeme können unter Einhaltung des allgemein geltenden Rechts entwickelt und verwendet werden, d. h. ohne Beachtung zusätzlicher rechtlicher Verpflichtungen. Die große Mehrheit der KI-Systeme, die derzeit oder wahrscheinlich künftig in der EU verwendet werden, fällt in diese Kategorie. Anbieter solcher Systeme können freiwillig die Anforderungen an vertrauenswürdige KI anwenden und freiwillige Verhaltenskodizes einhalten.
- Hohes Risiko: Eine begrenzte Zahl von KI-Systemen, die im Vorschlag definiert werden und sich potenziell nachteilig auf die Sicherheit der Menschen oder ihre (durch die Charta der Grundrechte der Europäischen Union geschützten) Grundrechte auswirken, gilt als mit einem hohen Risiko behaftet. Dem KI-Gesetz beigefügt ist die Liste der KI-Systeme mit hohem Risiko. Diese Liste kann überarbeitet werden, um sie an die Entwicklung der KI-Anwendungsfälle anzupassen.
- Zu solchen Systemen gehören auch Sicherheitskomponenten von Produkten, die unter sektorale Rechtsvorschriften der Union fallen. Es wird stets davon ausgegangen, dass von ihnen ein hohes Risiko ausgeht, wenn sie gemäß diesen sektoralen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden müssen.
- Unannehmbares Risiko: Eine sehr begrenzte Zahl besonders schädlicher KI-Anwendungen, die gegen die EU-Werte verstoßen, weil sie Grundrechte verletzen, wird ganz verboten:
- Bewertung des sozialen Verhaltens (Social Scoring) für öffentliche und private Zwecke;
- Ausnutzung der Schutzbedürftigkeit von Personen, Einsatz von Techniken zur unterschwelligen Beeinflussung;
- biometrische Echtzeit-Fernidentifizierung im öffentlich zugänglichen Raum durch Strafverfolgungsbehörden mit eng abgesteckten Ausnahmen (siehe unten);
- biometrische Kategorisierung natürlicher Personen aufgrund biometrischer Daten, um daraus die ethnische Herkunft, politische Auffassungen, die Zugehörigkeit zu einer Gewerkschaft, religiöse oder weltanschauliche Überzeugungen oder die sexuelle Orientierung abzuleiten. Das Filtern von Datensätzen anhand biometrischer Daten im Bereich der Strafverfolgung wird weiterhin möglich sein;
- individuelle vorausschauende polizeiliche Überwachung;
- Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, außer zu medizinischen oder sicherheitstechnischen Zwecken (z. B. Überwachung der Müdigkeit eines Piloten);
- ungezielte Auswertung von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen, um Datenbanken aufzubauen oder zu erweitern.
- Besondere Transparenzverpflichtungen: Für bestimmte KI-Systeme werden besondere Transparenzverpflichtungen auferlegt, z. B. wenn eine klare Manipulationsgefahr besteht (z. B. durch den Einsatz von Chatbots). Den Nutzern sollte bewusst sein, dass sie es mit einer Maschine zu tun haben.
Außerdem wird im KI-Gesetz auf systemische Risiken eingegangen, die sich aus KI-Modellen mit allgemeinem Verwendungszweck ergeben können, zu denen auch große generative KI-Modelle gehören. Solche Modelle können für vielfältige Aufgaben eingesetzt werden und bilden die Grundlage für viele KI-Systeme in der EU. Einige davon könnten systemische Risiken bergen, wenn sie sich als besonders leistungsfähig erweisen oder eine weite Verbreitung finden. Solche leistungsfähigen Modelle könnten beispielsweise schwere Unfälle verursachen oder für weitreichende Cyberangriffe missbraucht werden. Auch wenn ein Modell schädliche Verzerrungen hervorbringt, die in zahlreichen Anwendungen zum Tragen kommen, wären davon viele Menschen betroffen.
Wie erfahre ich, ob ein KI-System mit hohem Risiko behaftet ist?
Zusammen mit einer eindeutigen Bestimmung des Begriffs „hohes Risiko“ gibt das KI-Gesetz eine solide Methodik vor, die hilft, KI-Systeme mit hohem Risiko im Sinne des Rechtsrahmens zu ermitteln. Dadurch soll Rechtssicherheit für Unternehmen und andere Akteure geschaffen werden.
Die Risikoeinstufung beruht auf der Zweckbestimmung des KI-Systems entsprechend den bestehenden EU-Produktsicherheitsvorschriften. Dies bedeutet, dass die Einstufung des Risikos von der Funktion des KI-Systems, von seinem konkreten Zweck und seinen Anwendungsmodalitäten abhängt.
Die Anhänge des KI-Gesetzes enthalten eine Liste von Anwendungsfällen, bei denen von einem hohen Risiko ausgegangen wird. Die Kommission wird für die Aktualisierung und die Relevanz dieses Verzeichnisses sorgen. Systeme, die zwar auf der Hochrisiko-Liste stehen, jedoch nur eng begrenzte Verfahrensschritte durchführen, das Ergebnis vorheriger menschlicher Tätigkeiten verbessern, keine menschlichen Entscheidungen beeinflussen und rein vorbereitende Aufgaben erfüllen, werden dagegen nicht als hochriskant angesehen. Ein KI-System, das Profile natürlicher Personen erstellt (Profiling) gilt jedoch immer als hochriskant.
Welche Pflichten haben Anbieter von KI-Systemen mit hohem Risiko?
Bevor Hochrisiko-KI-Systeme in der EU in Verkehr gebracht oder anderweitig in Betrieb genommen werden dürfen, müssen die Anbieter ihr System einer Konformitätsbewertung unterziehen. Damit können sie nachweisen, dass ihr System den verbindlichen Anforderungen an vertrauenswürdige KI entspricht (z. B. in Bezug auf Datenqualität, Dokumentation und Rückverfolgbarkeit, Transparenz, menschliche Aufsicht, Genauigkeit, Cybersicherheit und Robustheit). Diese Bewertung muss erneut durchgeführt werden, wenn das System selbst oder sein Zweck wesentlich verändert wird.
Bei KI-Systemen, die Sicherheitskomponenten von Produkten sind, die unter sektorale Rechtsvorschriften der EU fallen, wird stets davon ausgegangen, dass von ihnen ein hohes Risiko ausgeht, wenn sie gemäß diesen sektoralen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden müssen. Ebenso ist bei biometrischen Systemen stets eine Konformitätsbewertung durch Dritte erforderlich.
Außerdem müssen Anbieter von Hochrisiko-KI-Systemen Qualitäts- und Risikomanagementsysteme einführen, um die Einhaltung der neuen Anforderungen sicherzustellen und die Risiken für Nutzer und betroffene Personen zu minimieren, auch nachdem ein Produkt bereits in Verkehr gebracht wurde.
Hochrisiko-KI-Systeme, die von Behörden oder im behördlichen Auftrag eingesetzt werden, müssen in einer öffentlichen EU-Datenbank registriert werden, sofern sie nicht zu Zwecken der Strafverfolgung und im Bereich der Migration verwendet werden. Letztere müssen in einem nicht öffentlichen Teil der Datenbank registriert werden, auf den nur die zuständigen Aufsichtsbehörden zugreifen können.
Zur Überwachung nach dem Inverkehrbringen werden die Marktüberwachungsbehörden Audits durchführen und den Anbietern die Möglichkeit bieten, schwerwiegende Vorfälle oder Grundrechtsverstöße, von denen sie Kenntnis erlangen, zu melden. Die Marktüberwachungsbehörden haben die Möglichkeit, das Inverkehrbringen einer bestimmten Hoch-Risiko-Anwendung aus besonderen und außergewöhnlichen Gründen zu genehmigen.
Bei Verstößen werden die nationalen Behörden aufgrund dieser Anforderungen Zugang zu den Informationen erhalten, die nötig sind, um festzustellen, ob der Einsatz des KI-Systems rechtmäßig erfolgt ist.
Gibt es Beispiele für die in Anhang III genannten Anwendungsfälle mit hohem Risiko?
- Bestimmte kritische Infrastrukturen, z. B. in Bereichen wie Straßenverkehr und Wasser-, Gas-, Wärme- und Stromversorgung;
- allgemeine und berufliche Bildung, z. B. Bewertung von Lernergebnissen, Steuerung des Lernprozesses und Überwachung von Prüfungsbetrug;
- Beschäftigung, Personalmanagement und Zugang zu selbstständiger Erwerbstätigkeit, z. B. Veröffentlichung gezielter Stellenanzeigen, Analyse und Filterung von Bewerbungen sowie Bewertung von Bewerbern;
- Zugang zu wichtigen privaten und öffentlichen Dienstleistungen und zu Sozialleistungen (z. B. Gesundheitsversorgung), Bewertung der Kreditwürdigkeit natürlicher Personen sowie Risikobewertung und Preisfestsetzung im Zusammenhang mit Lebens- und Krankenversicherungen;
- bestimmte Systeme, die in den Bereichen Strafverfolgung, Grenzkontrolle, Justizverwaltung und demokratische Prozesse eingesetzt werden;
- Bewertung und Klassifizierung von Notrufen;
- Systeme zur biometrischen Identifizierung, Kategorisierung und Emotionserkennung (außerhalb der verbotenen Kategorien).
- Die Empfehlungssysteme sehr großer Online-Plattformen sind nicht enthalten, weil sie bereits von anderen Rechtsvorschriften (Gesetz über digitale Dienste, Gesetz über digitale Märkte) erfasst werden.
Wie erfolgt die Regulierung von KI-Modellen mit allgemeinem Verwendungszweck?
KI-Modelle mit allgemeinem Verwendungszweck, zu denen auch große generative KI-Modelle gehören, können für vielfältige Aufgaben eingesetzt werden. Dabei können einzelne Modelle in eine große Zahl von KI-Systemen integriert werden.
Es ist wichtig, dass ein Anbieter, der auf einem KI-Modell mit allgemeinem Verwendungszweck aufbauen möchte, über alle Informationen verfügt, die er benötigt, um sicherzustellen, dass sein System sicher ist und dem KI-Gesetz entspricht.
Deshalb sind die Anbieter solcher Modelle nach dem KI-Gesetz verpflichtet, bestimmte Informationen gegenüber nachgelagerten Systemanbietern offenzulegen. Diese Transparenz ermöglicht ein besseres Verständnis dieser Modelle.
Außerdem müssen die Modellanbieter über Strategien verfügen, mit denen sie sicherstellen, dass beim Trainieren ihrer Modelle das Urheberrecht eingehalten wird.
Einige dieser Modelle könnten zudem systemische Risiken bergen, weil sie besonders leistungsfähig oder weitverbreitet sind.
Derzeit wird davon ausgegangen, dass KI-Modelle mit allgemeinem Verwendungszweck, die mit einer Gesamtrechenleistung von mehr als 10^25 FLOPs trainiert wurden, systemische Risiken bergen, weil solche mit größerer Rechenleistung trainierte Modelle tendenziell auch leistungsfähiger sind. Das Amt für künstliche Intelligenz (KI-Amt, das bei der Kommission angesiedelt wird) kann diesen Schwellenwert an den technischen Fortschritt anpassen und in bestimmten Fällen auch andere Modelle anhand weiterer Kriterien (z. B. Anzahl der Nutzer oder Grad der Autonomie des Modells) als Modelle mit systemischen Risiken benennen.
Anbieter von Modellen mit systemischen Risiken sind daher verpflichtet, die Risiken zu bewerten und zu mindern, schwerwiegende Vorfälle zu melden, Tests und Modellbewertungen nach dem neuesten Stand der Technik durchzuführen, die Cybersicherheit zu gewährleisten und Angaben zum Energieverbrauch ihrer Modelle zu machen.
Dazu sollen sie mit dem Europäischen Amt für künstliche Intelligenz zusammenzuarbeiten, um gemeinsam mit anderen Experten Verhaltenskodizes aufzustellen, die das zentrale Instrument zur Festlegung detaillierter Regeln sein werden. Ein wissenschaftliches Gremium wird eine zentrale Rolle bei der Beaufsichtigung von KI-Modellen mit allgemeinem Verwendungszweck spielen.
Warum ist 10^25 FLOPs ein angemessener Schwellenwert für KI-Modelle mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI), die systemische Risiken bergen?
Dieser Schwellenwert erfasst die derzeit fortschrittlichsten GPAI-Modelle, nämlich GPT-4 von OpenAI und wahrscheinlich auch Gemini von Google DeepMind.
Die Fähigkeiten der Modelle oberhalb dieses Schwellenwerts werden noch nicht ausreichend verstanden. Da sie systemische Risiken mit sich bringen könnten, erscheint es angemessen, ihre Anbieter den zusätzlichen Verpflichtungen zu unterwerfen.
Der FLOP-Wert ist ein erster Näherungswert für die Fähigkeiten der Modelle, und der genaue FLOP-Schwellenwert kann vom Europäischen Amt für künstliche Intelligenz nach oben oder unten angepasst werden, z. B. im Lichte der Fortschritte bei der objektiven Messung der Modellfähigkeiten und der Entwicklung der Rechenleistung, die für ein bestimmtes Leistungsniveau benötigt wird.
Das KI-Gesetz kann (durch einen delegierten Rechtsakt) geändert werden, um den FLOP-Schwellenwert zu aktualisieren.
Ist das KI-Gesetz zukunftstauglich?
Mit der Verordnung werden unterschiedliche Risikostufen eingeführt und klare Definitionen festgelegt, die auch für KI mit allgemeinem Verwendungszweck gelten.
In den Vorschriften werden ergebnisorientierte Anforderungen an Hochrisiko-KI-Systeme festgelegt. Die konkreten technischen Lösungen und die betriebliche Umsetzung sollen jedoch in erster Linie in von der Branche aufgestellten Standards geregelt werden, damit der Rechtsrahmen flexibel bleibt und an verschiedene Anwendungsfälle angepasst werden kann und damit neue technologische Lösungen entwickelt werden können.
Darüber hinaus kann das KI-Gesetz durch delegierte Rechtsakte und Durchführungsrechtsakte geändert werden, z. B. zur Anpassung des FLOP-Schwellenwerts (delegierter Rechtsakt), zur Aufnahme von Kriterien für die Einstufung von GPAI-Modellen als KI mit systemischen Risiken (delegierter Rechtsakt) und zur Änderung der Modalitäten für die Einrichtung von Reallaboren und die Festlegung von Elementen des Plans für einen Test unter realen Bedingungen (Durchführungsrechtsakt).
Wie regelt das KI-Gesetz die biometrische Identifizierung?
Die Verwendung biometrischer Echtzeit-Fernidentifizierung im öffentlich zugänglichen Raum (d. h. Gesichtserkennung mit Überwachungsaufnahmen) zu Strafverfolgungszwecken wird verboten, außer in folgenden Fällen:
- Strafverfolgungsmaßnahmen im Zusammenhang mit 16 festgelegten Straftaten,
- gezielte Suche nach bestimmten Opfern und bei Entführungen, Menschenhandel und sexueller Ausbeutung von Menschen, Suche nach vermissten Personen, oder
- Abwehr einer Gefahr für das Leben oder die körperliche Unversehrtheit von Personen oder Abwendung eines gegenwärtig oder vorhersehbar drohenden Terroranschlags.
Auf der Liste der 16 Straftaten stehen:
- Terrorismus,
- Menschenhandel,
- sexuelle Ausbeutung von Kindern und Verbreitung von Material über sexuellen Kindesmissbrauch,
- illegaler Handel mit Drogen und psychotropen Stoffen,
- illegaler Handel mit Waffen, Munition und Sprengstoffen,
- Mord,
- schwere Körperverletzung,
- illegaler Handel mit menschlichen Organen und menschlichem Gewebe,
- illegaler Handel mit nuklearen oder radioaktiven Substanzen,
- Entführung, Freiheitsberaubung und Geiselnahme,
- Verbrechen, die in die Zuständigkeit des Internationalen Strafgerichtshofs fallen,
- Flugzeug-/Schiffsentführung,
- Vergewaltigung,
- Umweltkriminalität,
- organisierter oder bewaffneter Raub,
- Sabotage, Mitgliedschaft in einer kriminellen Vereinigung, die an einer oder mehreren der oben aufgeführten Straftaten beteiligt ist.
Die biometrische Echtzeit-Fernidentifizierung durch Strafverfolgungsbehörden bedarf der vorherigen Genehmigung durch eine Justiz- oder unabhängige Verwaltungsbehörde, deren Entscheidung bindend ist. In dringenden Fällen kann die Genehmigung innerhalb von 24 Stunden nachgeholt werden; wird die Genehmigung verweigert, müssen alle Daten und Ergebnisse gelöscht werden.
Es muss eine vorherige Folgenabschätzung in Bezug auf die Grundrechte durchgeführt und der zuständigen Marktüberwachungsbehörde und der Datenschutzbehörde gemeldet werden. Bei großer Dringlichkeit kann mit der Nutzung des Systems ohne die Registrierung begonnen werden.
Für den Einsatz von KI-Systemen zur nachträglichen biometrischen Fernidentifizierung (in zuvor gesammeltem Videomaterial) von Personen, gegen die ermittelt wird, ist die vorherige Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde und die Meldung bei der Datenschutz- und Marktüberwachungsbehörde erforderlich.
Warum sind für die biometrische Fernidentifizierung besondere Vorschriften erforderlich?
Die biometrische Identifizierung kann in verschiedenen Formen erfolgen. Sie kann zur Benutzerauthentifizierung verwendet werden, etwa zur Entsperrung eines Smartphones oder zur Verifizierung (Authentifizierung) bei Grenzübertritten, um die Identität einer Person anhand ihrer Reisedokumente (One-to-one-Matching) zu kontrollieren.
Biometrische Identifizierung könnte auch aus der Ferne verwendet werden, um Personen in einer Menschenmenge zu identifizieren, wobei z. B. ein Bild einer Person mit einer Datenbank abgeglichen wird (One-to-many-Matching).
Aufgrund einer Vielzahl von Faktoren wie Kameraqualität, Licht, Entfernung, Datenbank, Algorithmus sowie ethnische Herkunft, Alter oder Geschlecht der Personen kann die Genauigkeit von Gesichtserkennungssystemen erheblich variieren. Gleiches gilt auch für die Erkennung von Gangart und Sprache sowie für andere biometrische Systeme. Bei hochmodernen Systemen werden die Falscherkennungsraten zwar ständig verringert.
Doch selbst wenn eine Genauigkeit von 99 % im Allgemeinen recht gut klingen mag, stellt es ein erhebliches Risiko dar, wenn das Ergebnis dazu führt, dass eine unschuldige Person verdächtigt wird. Selbst eine Fehlerquote von 0,1 % ist viel, wenn es um Zehntausende Personen geht.
Wie werden die Grundrechte durch die neuen Vorschriften geschützt?
Wenngleich auf der Ebene der EU und der Mitgliedstaaten bereits ein starker Schutz der Grundrechte und gegen Diskriminierung besteht, stellen die Komplexität und Undurchsichtigkeit bestimmter KI-Anwendungen („Blackbox“) ein Problem dar.
Ein auf den Menschen ausgerichteter Ansatz für KI bedeutet, dass KI-Anwendungen mit den Rechtsvorschriften zum Schutz der Grundrechte im Einklang stehen müssen. Die Anforderungen an Rechenschaftspflicht und Transparenz beim Einsatz von KI-Systemen mit hohem Risiko werden in Verbindung mit verbesserten Durchsetzungskapazitäten sicherstellen, dass die Einhaltung der Rechtsvorschriften bereits ab der Entwicklungsphase berücksichtigt wird.
Bei Verstößen werden die nationalen Behörden aufgrund dieser Anforderungen Zugang zu den Informationen erhalten, die nötig sind, um festzustellen, ob der Einsatz von KI rechtmäßig erfolgt ist.
Darüber hinaus schreibt das KI-Gesetz vor, dass KI-Betreiber, die Einrichtungen des öffentlichen Rechts sind, aber auch private Betreiber, die öffentliche Dienstleistungen erbringen, sowie Betreiber von Hochrisiko-KI-Systemen eine Folgenabschätzung in Bezug auf die Grundrechte durchführen müssen.
Was ist eine Folgenabschätzung in Bezug auf die Grundrechte? Wer muss eine solche Folgenabschätzung durchführen, und wann?
Der Einsatz eines Hochrisiko-KI-Systems kann Auswirkungen auf die Grundrechte haben. Deshalb müssen Betreiber, die Einrichtungen des öffentlichen Rechts sind, oder private Betreiber, die öffentliche Dienstleistungen erbringen, sowie Betreiber von Hochrisiko-KI-Systemen eine Folgenabschätzung in Bezug auf die Grundrechte durchführen und der nationalen Behörde die Ergebnisse mitteilen.
Diese Folgenabschätzung beinhaltet eine Beschreibung der Prozesse des Betreibers, in denen das Hochrisiko-KI-System verwendet werden soll, Angaben zu Zeitraum und Häufigkeit der Verwendung des Hochrisiko-KI-Systems, die Kategorien natürlicher Personen und Gruppen, die von seiner Verwendung in dem konkreten Kontext wahrscheinlich betroffen sein werden, die besonderen Schadensrisiken für die betroffenen Personenkategorien oder Personengruppen sowie eine Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht und von Maßnahmen, die zu ergreifen sind, falls ein Gefahrenfall tatsächlich eintreten sollte.
Wenn der Anbieter diese Verpflichtung bereits durch die Datenschutz-Folgenabschätzung erfüllt hat, wird die Folgenabschätzung in Bezug auf die Grundrechte in Verbindung mit dieser Datenschutz-Folgenabschätzung durchgeführt.
Wie soll diese Verordnung darauf hinwirken, dass KI zu keinen Verzerrungen aufgrund der Rasse oder des Geschlechts führt?
Es ist äußerst wichtig, dass KI-Systeme keine Voreingenommenheit schaffen und keine derartigen Verzerrungen reproduzieren. Wenn sie richtig konzipiert und eingesetzt werden, können KI-Systeme dazu beitragen, Verzerrungen der Wirklichkeit und bestehende strukturelle Diskriminierungen zu verringern, und somit zu gerechteren, diskriminierungsfreien Entscheidungen führen (z. B. bei Personaleinstellungen).
Die neuen verbindlichen Anforderungen an alle KI-Systeme mit hohem Risiko dienen diesem Zweck. KI-Systeme müssen technisch robust sein und Garantien dafür bieten, dass die Technik ihren Zweck erfüllt und geschützte Gruppen (z. B. wegen Rasse oder ethnischer Herkunft, Geschlecht, Alter usw.) nicht unverhältnismäßig stark von falsch positiven oder falsch negativen Ergebnissen betroffen sind.
KI-Systeme mit hohem Risiko werden zudem mit ausreichend repräsentativen Datensätzen zu trainieren und zu testen sein, um das Risiko, dass unfaire Verzerrungen schon im Modell selbst begründet sind, möglichst gering zu halten und um sicherzustellen, dass solchen Verzerrungen mit geeigneten Maßnahmen zur Erkennung, Korrektur und sonstigen Risikominderung begegnet werden kann.
Darüber hinaus müssen sie rückverfolgbar und überprüfbar sein, und es müssen angemessene Unterlagen aufbewahrt werden, wozu auch die Daten gehören, mit denen der Algorithmus trainiert wurde, da diese für nachträgliche Untersuchungen unverzichtbar sind.
Die Beaufsichtigung der Einhaltung der Anforderungen vor und nach dem Inverkehrbringen der KI-Systeme muss sicherstellen, dass solche Systeme regelmäßig überwacht werden und dass möglichen Risiken unverzüglich entgegengewirkt wird.
Ab wann wird das KI-Gesetz uneingeschränkt anwendbar sein?
Nach seiner Annahme durch das Europäische Parlament und den Rat wird das KI-Gesetz am zwanzigsten Tag nach seiner Veröffentlichung im Amtsblatt in Kraft treten. Es wird dann 24 Monate nach dem Inkrafttreten in vollem Umfang anwendbar sein, wobei das folgende abgestufte Verfahren gilt:
- 6 Monate nach Inkrafttreten: Die Mitgliedstaaten schalten verbotene Systeme schrittweise ab;
- 12 Monate: Die Verpflichtungen in Bezug auf KI mit allgemeinem Verwendungszweck werden anwendbar;
- 24 Monate: Alle Vorschriften des KI-Gesetzes werden anwendbar, einschließlich der Verpflichtungen für Hochrisikosysteme, die in Anhang III (Liste der Anwendungsfälle mit hohem Risiko) festgelegt sind;
- 36 Monate: Die Verpflichtungen für Hochrisikosysteme gemäß Anhang II (Liste der Harmonisierungsrechtsvorschriften der Union) werden anwendbar.
Wie werden die Vorschriften des KI-Gesetzes durchgesetzt?
Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung der Vorschriften eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat eine oder mehrere zuständige nationale Behörden benennen, die die Anwendung und Umsetzung beaufsichtigen und die Marktüberwachung wahrnehmen.
Im Interesse der Effizienz sollte jeder Mitgliedstaat als offizielle Kontaktstelle für die Öffentlichkeit und für andere Stellen eine nationale Aufsichtsbehörde benennen, die das Land auch im Europäischen Ausschuss für künstliche Intelligenz vertritt.
Zusätzliches technisches Fachwissen wird von einem Beratungsforum zur Verfügung gestellt, in dem eine ausgewogene Auswahl von Interessenträgern aus Industrie, Start-ups, KMU, Zivilgesellschaft und Hochschulen/Wissenschaft vertreten ist.
Darüber hinaus wird die Kommission ein neues Europäisches KI-Büro innerhalb der Kommission einrichten, das KI-Modelle mit allgemeinem Verwendungszweck überwacht, mit dem Europäischen Ausschuss für künstliche Intelligenz zusammenarbeitet und dabei von einem wissenschaftlichen Gremium unabhängiger Sachverständiger unterstützt wird.
Warum wird ein Europäischer Ausschuss für künstliche Intelligenz gebraucht, und was soll er tun?
Der Europäische Ausschuss für künstliche Intelligenz besteht aus hochrangigen Vertretern der zuständigen nationalen Aufsichtsbehörden, des Europäischen Datenschutzbeauftragten und der Kommission. Er hat die Aufgabe, eine reibungslose, wirksame und einheitliche Umsetzung des neuen KI-Gesetzes zu erleichtern.
Der Ausschuss wird der Kommission Empfehlungen und Stellungnahmen zu KI-Systemen mit hohem Risiko und zu anderen Aspekten vorlegen, die für eine wirksame und einheitliche Umsetzung der neuen Vorschriften von Bedeutung sind. Nicht zuletzt wird er auch Normungstätigkeiten in diesem Bereich unterstützen.
Welche Aufgaben hat das Europäische Amt für künstliche Intelligenz?
Das KI-Amt soll im Bereich der künstlichen Intelligenz Fachwissen und Fähigkeiten der Union entwickeln und einen Beitrag zu einer zentralisierten Struktur zur Umsetzung und Anwendung der Rechtsvorschriften der Union im Bereich der künstlichen Intelligenz leisten.
Insbesondere soll das KI-Amt die neuen Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck durchsetzen und ihre Anwendung überwachen. Neben der Aufstellung von Verhaltenskodizes zur Präzisierung des Regelwerks gehört dazu auch seine Rolle bei der Klassifizierung von Modellen mit systemischen Risiken und bei der Überwachung der wirksamen Umsetzung und Einhaltung der Vorschriften. Letzteres wird durch die Befugnis erleichtert, Unterlagen anzufordern, Modellbewertungen durchzuführen, Warnmeldungen zu untersuchen und von den Anbietern Korrekturmaßnahmen zu verlangen.
Das KI-Amt sorgt für die Koordinierung der Politik im Bereich der künstlichen Intelligenz und die Zusammenarbeit zwischen den beteiligten Organen, Einrichtungen und sonstigen Stellen der Union sowie mit Sachverständigen und Interessenträgern. Insbesondere wird es enge Verbindungen zur Wissenschaft pflegen, um die Durchsetzung zu unterstützen, als internationale Bezugsstelle für unabhängige Sachverständige und Expertenorganisationen dienen und den Austausch und die Zusammenarbeit mit ähnlichen Einrichtungen auf der ganzen Welt erleichtern.
Was ist der Unterschied zwischen dem KI-Ausschuss, dem KI-Büro, dem Beratungsforum und dem wissenschaftlichen Gremium unabhängiger Sachverständiger?
Der KI-Ausschuss hat erweiterte Aufgaben in Bezug auf die Beratung und Unterstützung der Kommission und der Mitgliedstaaten.
Das KI-Amt wird innerhalb der Kommission eingerichtet und soll Fachwissen und Fähigkeiten der Union im Bereich der künstlichen Intelligenz entwickeln und zur Umsetzung und Anwendung der Rechtsvorschriften der Union im Bereich der künstlichen Intelligenz beitragen. Insbesondere soll das KI-Amt die neuen Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck durchsetzen und ihre Anwendung überwachen.
Das Beratungsforum wird aus einer ausgewogenen Auswahl von Interessenträgern aus Industrie, Start-ups, KMU, Zivilgesellschaft und Hochschulen/Wissenschaft bestehen. Es wird eingerichtet, um den Ausschuss und die Kommission zu beraten und ihnen technisches Fachwissen zur Verfügung zu stellen. Seine Mitglieder werden vom Ausschuss aus den Reihen der Interessenträger ernannt.
Das wissenschaftliche Gremium unabhängiger Sachverständiger unterstützt die Umsetzung und Durchsetzung der Verordnung in Bezug auf Modelle und Systeme mit allgemeinem Verwendungszweck. Die Mitgliedstaaten werden ebenfalls auf diesen Expertenpool zurückgreifen können.
Welche Sanktionen sind bei Verstößen vorgesehen?
Für den Fall, dass KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden, die den Anforderungen der Verordnung nicht genügen, müssen die Mitgliedstaaten wirksame, verhältnismäßige und abschreckende Sanktionen, einschließlich Geldbußen, festlegen und diese der Kommission mitteilen.
Dafür werden in der Verordnung bestimmte Schwellenwerte festgelegt:
- bis zu 35 Mio. EUR oder 7 % des gesamten weltweiten Vorjahresumsatzes (je nachdem, welcher Wert höher ist) bei Verstößen durch verbotene Praktiken oder Verletzungen von Datenanforderungen;
- bis zu 15 Mio. EUR oder 3 % des gesamten weltweiten Vorjahresumsatzes bei Verstößen gegen andere Anforderungen oder Verpflichtungen aus der Verordnung, auch bei Verletzungen der Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck;
- bis zu 7,5 Mio. EUR oder 1,5 % des gesamten weltweiten Vorjahresumsatzes bei falschen, unvollständigen oder irreführenden Angaben in angeforderten Auskünften an benannte Stellen und zuständige nationale Behörden.
- Bei allen Kategorien von Verstößen wäre der Schwellenwert jeweils der niedrigere der beiden Beträge für KMU und der höhere für andere Unternehmen.
Zur Harmonisierung der nationalen Vorschriften und Verfahren bei der Festsetzung von Geldbußen wird die Kommission anhand von Empfehlungen des Ausschusses Leitlinien ausarbeiten.
Da die Organe, Einrichtungen und sonstigen Stellen der EU mit gutem Beispiel vorangehen sollten, werden auch sie den Vorschriften und möglichen Sanktionen unterworfen. Der Europäische Datenschutzbeauftragte wird befugt sein, Geldbußen gegen sie zu verhängen.
Was können Einzelpersonen tun, wenn sie von einem Verstoß gegen die Vorschriften betroffen sind?
Das KI-Gesetz sieht das Recht vor, bei einer nationalen Behörde Beschwerde einzulegen. Auf dieser Grundlage können nationale Behörden eine Marktüberwachung nach den Verfahren der Marktüberwachungsverordnungen einleiten.
Darüber hinaus soll die vorgeschlagene KI-Haftungsrichtlinie den Personen, die Entschädigungen für durch Hochrisiko-KI-Systeme verursachte Schäden beantragen wollen, wirksame Mittel an die Hand geben, um möglicherweise haftende Personen zu ermitteln und einschlägige Beweise für eine Schadensersatzklage zu sichern. Dazu sieht die vorgeschlagene Richtlinie die Offenlegung von Nachweisen über bestimmte Hochrisiko-KI-Systeme vor, bei denen der Verdacht besteht, dass sie Schäden verursacht haben.
Überdies wird die überarbeitete Produkthaftungsrichtlinie dafür sorgen, dass Personen, die in der Union durch ein fehlerhaftes Produkt getötet oder verletzt werden oder Sachschäden erleiden, eine Entschädigung erhalten, und es wird klargestellt, dass KI-Systeme und Produkte die ihrerseits KI-Systeme enthalten, ebenfalls unter die bestehenden Vorschriften fallen.
Wie funktionieren die freiwilligen Verhaltenskodizes für Hochrisiko-KI-Systeme?
Anbieter von KI-Anwendungen, die kein hohes Risiko darstellen, können die Vertrauenswürdigkeit ihrer KI-Systeme dadurch stärken, dass sie eigene freiwillige Verhaltenskodizes aufstellen oder sich den Verhaltenskodizes anderer repräsentativer Verbände anschließen.
Diese werden parallel zu den Transparenzverpflichtungen für bestimmte KI-Systeme gelten.
Die Kommission wird Branchenverbände und andere repräsentative Organisationen zur Aufstellung freiwilliger Verhaltenskodizes anhalten.
Wie funktionieren die Verhaltenskodizes für KI-Modelle mit allgemeinem Verwendungszweck?
Die Kommission lädt Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und andere Experten zur gemeinsamen Arbeit an einem Verhaltenskodex ein.
Nachdem solche Kodizes ausgearbeitet und gebilligt worden sind, können sie dann von den Anbietern von KI-Modellen mit allgemeinem Verwendungszweck benutzt werden, um die Einhaltung der einschlägigen Verpflichtungen aus dem KI-Gesetz nachzuweisen – ähnlich wie es bei der DSGVO möglich ist.
Dies ist besonders wichtig, um die Vorschriften gerade auch für Anbieter von KI-Modellen mit systemischen Risiken im Einzelnen zu verdeutlichen und damit die Vorschriften für die Risikobewertung und -minderung sowie die anderen Verpflichtungen zukunftssicher und wirksam sind.
Enthält das KI-Gesetz Bestimmungen zum Umweltschutz und zur Nachhaltigkeit?
Ziel des KI-Vorschlags ist es, die Risiken in Bezug auf die Sicherheit und die Grundrechte anzugehen, wozu auch das Grundrecht auf ein hohes Umweltschutzniveau gehört. Die Umwelt gehört zu den ausdrücklich erwähnten und geschützten Rechtsgütern.
Die Kommission wird die europäischen Normungsorganisationen mit der Ausarbeitung von Normen beauftragen, nämlich für Berichterstattungs- und Dokumentationsverfahren zur Verbesserung der Ressourceneffizienz von KI-Systemen (um z. B. den Energie- und sonstigen Ressourcenverbrauch eines Hochrisiko-KI-Systems während seines Lebenszyklus zu verringern), und für eine energieeffiziente Entwicklung von KI-Modellen mit allgemeinem Verwendungszweck.
Außerdem muss die Kommission zwei Jahre nach dem Beginn der Anwendung der Verordnung und danach alle vier Jahre einen Bericht über die Überprüfung der Fortschritte bei der Ausarbeitung von Normungsunterlagen für die energieeffiziente Entwicklung von Modellen mit allgemeinem Verwendungszweck vorlegen und einschätzen, ob weitere (ggf. auch verbindliche) Maßnahmen oder Aktionen nötig sind.
Darüber hinaus müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, die mit großen Datenmengen trainiert worden sind, was oftmals einen hohen Energiebedarf mit sich bringt, ihren Energieverbrauch offenlegen.
Für diese Bewertung soll die Kommission eine geeignete Methodik entwickeln.
Bei KI-Modellen mit allgemeinem Verwendungszweck, die systemische Risiken bergen, muss darüber hinaus die Energieeffizienz bewertet werden.
Wie können die neuen Vorschriften die Innovation fördern?
Der Rechtsrahmen kann die Verbreitung von KI auf zweierlei Weise fördern. Einerseits erhöht ein größeres Vertrauen der Nutzer die Nachfrage nach KI, die in Unternehmen und Behörden eingesetzt wird. Andererseits erhalten KI-Anbieter dank der höheren Rechtssicherheit und einheitlicher Vorschriften Zugang zu größeren Märkten mit ihren Produkten, die von Nutzern und Verbrauchern geschätzt und gekauft werden. Die Vorschriften werden nur angewandt, soweit dies unbedingt erforderlich ist, und zwar mit einer schlanken Verwaltungsstruktur und in einer Weise, die die Wirtschaftsteilnehmer so wenig wie möglich belastet.
Das KI-Gesetz ermöglicht ferner die Schaffung von Reallaboren und die Durchführung von Tests unter realen Bedingungen, also in einem kontrollierten Umfeld, damit innovative Technik für einen begrenzten Zeitraum getestet werden kann. Im Einklang mit dem KI-Gesetz werden so Innovationen durch Unternehmen, KMU und Start-ups gefördert. Zusammen mit anderen Maßnahmen wie den zusätzlichen Netzen der KI-Exzellenzzentren und der öffentlich-privaten Partnerschaft für künstliche Intelligenz, Daten und Robotik wie auch dem Zugang zu digitalen Innovationszentren und Test- und Versuchsanlagen werden sie dazu beitragen, die richtigen Rahmenbedingungen für die Entwicklung und den Einsatz von KI zu schaffen.
Tests von Hochrisiko-KI-Systemen unter realen Bedingungen dürfen in der Regel höchstens sechs Monate dauern (wobei der Testzeitraum um weitere sechs Monate verlängert werden kann). Vor dem Testen muss ein Plan aufgestellt und der Marktüberwachungsbehörde vorgelegt werden, damit sie den Plan und die spezifischen Testbedingungen genehmigen kann. Wenn die Behörde darauf nicht innerhalb von 30 Tagen geantwortet hat, gilt die Genehmigung als stillschweigend erteilt. Die Behörde kann bei den Tests unangekündigte Kontrollen durchführen.
Tests unter realen Bedingungen dürfen nur durchgeführt werden, wenn besondere Schutzvorkehrungen getroffen worden sind. So müssen die Nutzer der unter realen Bedingungen zu testenden Systeme ihre sachkundige Zustimmung erteilt haben, die Tests dürfen keine negativen Auswirkungen auf sie haben, die Ergebnisse müssen umkehrbar oder ignorierbar sein, und die Daten müssen nach Abschluss des Tests gelöscht werden. Besonders schutzbedürftige Gruppen (z. B. aufgrund des Alters oder körperlicher oder geistiger Behinderung) müssen dabei speziell geschützt werden.
Wie wird die EU – außer mit dem KI-Gesetz – Innovationen im Bereich der KI erleichtern und unterstützen?
Das EU-Konzept für künstliche Intelligenz beruht auf Exzellenz und Vertrauen. Es zielt darauf ab, die Forschung und industrielle Kapazitäten zu fördern und gleichzeitig die Sicherheit und den Schutz der Grundrechte zu gewährleisten. Dabei sollten Menschen und Unternehmen die Vorteile der KI nutzen und sich gleichzeitig sicher und geschützt fühlen können. Ziel der europäischen KI-Strategie ist es, die EU zu einer weltweit führenden Drehscheibe für KI zu machen und gleichzeitig dafür zu sorgen, dass die KI auf den Menschen ausgerichtet und vertrauenswürdig ist. Im April 2021 legte die Kommission ihr KI-Paket vor, das Folgendes umfasste: 1) eine Überprüfung des koordinierten Plans für künstliche Intelligenz und 2) ihren Vorschlag für eine Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz.
Mit ihrem koordinierten Plan für künstliche Intelligenz hat die Europäische Kommission eine umfassende Strategie zur Förderung der Entwicklung und Einführung von KI in Europa angenommen. Seine Schwerpunkte liegen auf der Schaffung günstiger Voraussetzungen für die Entwicklung und Einführung von KI, der Sicherstellung von Exzellenz vom Forschungslabor bis zum Markt, der Erhöhung der Vertrauenswürdigkeit der KI und der Erlangung einer strategischen Führungsrolle in Sektoren mit großer Wirkung.
Die Kommission ist bestrebt, die Aktivitäten der Mitgliedstaaten durch eine Koordinierung und Harmonisierung ihrer Bemühungen zum Tragen zu bringen, um bei der Entwicklung und Einführung von KI ein kohärentes und Synergien schaffendes Vorgehen zu fördern. Die Kommission hat auch die Plattform der Europäischen KI-Allianz eingerichtet, in der Interessenträger aus Wissenschaft, Industrie und Zivilgesellschaft zusammenkommen, um Wissen und Erkenntnisse im Bereich der KI-Politik auszutauschen.
Darüber hinaus sehen die koordinierten Pläne mehrere Maßnahmen vor, die darauf abzielen, Datenressourcen zu erschließen, kritische Rechenkapazitäten auszubauen, die Forschungskapazitäten zu erhöhen, ein europäisches Netz der Erprobungs- und Versuchseinrichtungen (TEFs) zu unterstützen und KMU mithilfe europäischer digitaler Innovationszentren (EDIHs) zu unterstützen.
Welche internationale Dimension hat das EU-Konzept?
Das KI-Gesetz und der koordinierte Plan für KI sind Teil der Bemühungen der Europäischen Union um eine weltweite Führungsrolle bei der Förderung einer vertrauenswürdigen KI auf internationaler Ebene. KI ist heute ein Gebiet von strategischer Bedeutung an der Schnittstelle geopolitischer Bestrebungen, wirtschaftlicher Interessen und sicherheitspolitischer Bedenken.
Auf der ganzen Welt setzen Länder heute KI ein und bekunden damit ihren Wunsch, ausgehend von der Nützlichkeit und dem Potenzial der KI technische Fortschritte zu erzielen. Die Regulierung der künstlichen Intelligenz steht noch am Anfang, weshalb die EU Maßnahmen ergreifen wird, um die Festlegung weltweiter Normen zu fördern, und zwar in enger Zusammenarbeit mit internationalen Partnern und im Einklang mit dem regelbasierten multilateralen System und den Werten, für die sie eintritt. Die EU ist bestrebt, ihre Partnerschaften, Koalitionen und Allianzen mit Partnern der EU (z. B. Japan, USA, Indien, Kanada, Südkorea, Singapur oder Lateinamerika und die Karibik-Region) sowie mit multilateralen (z. B. OECD, G7 und G20) und regionalen Organisationen (z. B. Europarat) zu vertiefen.
Source – ec.europe.eu/commission