Künstliche Intelligenz, Behörde für Datenschutz, stoppt den Chatbot “Replika”. Zu viele Risiken für Minderjährige und psychisch labile Menschen
Die Datenschutzbehörde stoppt “Replika”. Der Chatbot, der mit einer schriftlichen und stimmlichen Schnittstelle ausgestattet ist und sich auf künstliche Intelligenz stützt, um einen “virtuellen Freund” zu generieren, wird vorerst nicht in der Lage sein, die persönlichen Daten der italienischen Nutzer zu verwenden. Der Datenschutzbeauftragte hat nämlich mit sofortiger Wirkung die vorläufige Einschränkung der Datenverarbeitung gegenüber dem US-Unternehmen angeordnet, das die Anwendung entwickelt und verwaltet.
Aus den jüngsten Presseberichten und den von der Behörde durchgeführten Tests zu “Replika” geht hervor, dass die Anwendung tatsächlich konkrete Risiken für Minderjährige birgt, angefangen damit, dass ihnen Antworten vorgeschlagen werden, die für ihren Entwicklungsstand absolut ungeeignet sind.
Der “virtuelle Freund” – der als fähig dargestellt wird, das emotionale Wohlbefinden des Nutzers zu verbessern, ihm zu helfen, seine eigenen Gedanken zu verstehen und Ängste durch Stressbewältigung, Sozialisierung und die Suche nach Liebe zu lindern – weist Eigenschaften auf, die durch die Einwirkung auf die Stimmung der Person die Risiken für Personen erhöhen können, die sich noch in einer Entwicklungsphase oder in einem Zustand emotionaler Zerbrechlichkeit befinden.
Außerdem fehlt ein Mechanismus zur Altersüberprüfung: Filter für Minderjährige, aber auch die Sperrung der App bei Aussagen, in denen der Nutzer sein Alter explizit angibt. In der Phase der Kontoerstellung fragt die Plattform nur nach Name, E-Mail und Geschlecht.
Und die vom Chatbot vorgeschlagenen “Antworten” stehen oft in eklatantem Widerspruch zu den verstärkten Schutzmaßnahmen, die für Minderjährige und alle empfindlichen Personen gewährleistet werden müssen. Mehrere in den beiden großen “App Stores” veröffentlichte Bewertungen enthalten außerdem Kommentare von Nutzern, die sich über sexuell unangemessene Inhalte beschweren.
“Replika” verstößt gegen die europäische Datenschutzverordnung, hält sich nicht an den Grundsatz der Transparenz und verarbeitet personenbezogene Daten in rechtswidriger Weise, da sie sich nicht einmal stillschweigend auf einen Vertrag stützen kann, den der Minderjährige nicht abschließen kann.
Der US-amerikanische Entwickler Luka Inc. muss nicht nur die Verarbeitung der Daten italienischer Nutzer einstellen, sondern auch innerhalb von 20 Tagen mitteilen, welche Maßnahmen er ergriffen hat, um der Aufforderung der Garante nachzukommen; andernfalls droht ihm eine Geldstrafe von bis zu 20 Millionen Euro oder bis zu 4 % des weltweiten Jahresumsatzes.
Künstliche Intelligenz: Italienische Staatsanwaltschaft geht gegen den Chatbot “Replika” vor – Zu viele Risiken für Kinder und emotional verletzliche Personen
Die italienische Staatsanwaltschaft geht gegen “Replika” vor. Der KI-gestützte Chatbot, der über Text- und Videoschnittstellen einen “virtuellen Freund” generiert, darf vorerst keine personenbezogenen Daten italienischer Nutzer verarbeiten. Die italienische Behörde hat dem in den USA ansässigen Unternehmen, das die App entwickelt hat und betreibt, eine vorläufige Einschränkung der Datenverarbeitung auferlegt, die sofort in Kraft tritt.
Jüngste Medienberichte und von der SA durchgeführte Tests mit “Replika” haben gezeigt, dass die App faktische Risiken für Kinder birgt – vor allem die Tatsache, dass sie Antworten erhalten, die ihrem Alter absolut nicht angemessen sind.
Der “virtuelle Freund” soll in der Lage sein, das emotionale Wohlbefinden der Nutzer zu verbessern und ihnen zu helfen, ihre Gedanken zu verstehen und Ängste durch Stressbewältigung, Sozialisierung und die Suche nach Liebe abzubauen. Diese Funktionen stehen in Wechselwirkung mit der Stimmung einer Person und können für Personen, die noch nicht erwachsen oder emotional verletzlich sind, ein erhöhtes Risiko darstellen.
Es gibt keinen Mechanismus zur Altersüberprüfung: keine Sperre für Kinder, keine Sperrung der App, wenn ein Nutzer angibt, minderjährig zu sein. Bei der Einrichtung eines Kontos fragt die Plattform lediglich den Namen, das E-Mail-Konto und das Geschlecht des Nutzers ab.
Und die “Antworten” des Chatbots stehen oft eindeutig im Widerspruch zu den erweiterten Schutzmaßnahmen, auf die Kinder und schutzbedürftige Personen Anspruch haben. Mehrere Bewertungen in den beiden großen App Stores enthalten Kommentare von Nutzern, die auf sexuell unangemessene Inhalte hinweisen.
Replika” verstößt gegen die EU-Datenschutzverordnung: Es erfüllt nicht die Transparenzanforderungen und verarbeitet personenbezogene Daten in rechtswidriger Weise, da die Erfüllung eines Vertrags nicht als Rechtsgrundlage geltend gemacht werden kann, auch nicht implizit, da Kinder nach italienischem Recht nicht in der Lage sind, einen gültigen Vertrag abzuschließen.
Der in den USA ansässige Entwickler Luka Inc. wurde daher angewiesen, die Verarbeitung von Daten italienischer Nutzer einzustellen und die italienische Aufsichtsbehörde innerhalb von 20 Tagen über alle Maßnahmen zu informieren, die zur Umsetzung der Anordnungen der Aufsichtsbehörde getroffen wurden. Andernfalls kann die Staatsanwaltschaft eine Geldbuße von bis zu 20 Mio. EUR oder 4 % des gesamten weltweiten Jahresumsatzes des Unternehmens verhängen.
source: gpdp.it
Follow on LinkedIn