Mein Spion ist immer bei mir

Am 11. Mai dieses Jahres hat die Europäische Kommission ihren Entwurf einer „Verordnung zur Festlegung von Vorschriften zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern“ vorgelegt. Die geplante Verordnung soll sexualisierter Gewalt gegen Minderjährige sowie deren Anbahnung im Internet durch ein komplexes Gefüge von Pflichten für die wichtigsten Intermediäre der Netzkommunikation entgegenwirken. Zudem soll sie eine grenzüberschreitende Behördeninfrastruktur mit einer neuen Agentur der Europäischen Union als zentralem Knotenpunkt errichten. Die ersten Reaktionen auf den Entwurf waren kontrovers. So haben zahlreiche Kinderschutzverbände den Kommissionsvorschlag in einem offenen Brief unterstützt. Demgegenüber haben etwa Bürgerrechtsorganisationen, Branchenverbände und Datenschutzaufsichtsbehörden den Entwurf teils scharf kritisiert. Auch die Bundesregierung hat eine skeptische Haltung erkennen lassen, als sie der Kommission eine umfangreiche Liste mit teils erkennbar kritischen Fragen übersandt hat.

Bei näherer Betrachtung bündelt der Entwurf einerseits Maßnahmen zur Bekämpfung sexualisierter Gewalt, die seit geraumer Zeit geläufig sind, deren technische Probleme und rechtliche Zweifelsfragen aber nach wie vor nicht vollständig bewältigt sind. Neu ist andererseits, dass nach der vorgeschlagenen Verordnung die Individualkommunikation auf bestimmten Kommunikationsdiensten großflächig und teils anlasslos auf bestimmte Inhalte durchsucht werden soll. Gerade dieser Teil des Entwurfs ist besonders kritisch zu bewerten.

Problematische Terminologie des Verordnungsentwurfs

Die Verordnung nimmt verschiedene Intermediäre der Internetkommunikation weitreichend in die Pflicht, um den „sexuellen Kindesmissbrauch im Internet“ zu bekämpfen. Hierunter versteht die Verordnung – in Anknüpfung an die Richtlinie 2011/93/EU zur Bekämpfung des sexuellen Missbrauchs von Kindern – zum einen die Verbreitung von „Darstellungen sexuellen Kindesmissbrauchs“ (sog. Kinderpornographie), zum anderen die Kontaktaufnahme zu Kindern für sexuelle Zwecke (oft als Grooming bezeichnet), soweit hierzu internetbasierte Dienste genutzt werden. Im Folgenden werden beide Arten von Inhalten mit dem Oberbegriff „inkriminierte Inhalte“ bezeichnet. Zudem sprechen wir statt von „Darstellungen sexuellen Kindesmissbrauchs“ von Darstellungen sexualisierter Gewalt gegen Kinder. Denn die Terminologie der Verordnung ist nicht unproblematisch. Der Begriff „Kindesmissbrauch“ wird von vielen Betroffenen kritisch gesehen, weil er implizieren könnte, es gebe legitimen „Gebrauch“ von Kindern. Wir verwenden diesen Begriff hier daher nur in Form von Zitaten, weil es sich um die Terminologie des Entwurfs handelt.

Wesentliche Inhalte des Entwurfs im Überblick

Die Inpflichtnahme erstreckt sich auf die Anbieter von vier Typen von Diensten:

1. Hostingdienste, die fremde Informationen im Auftrag von Nutzer*innen speichern und für Dritte verfügbar machen (hierzu zählen etwa Soziale Medien wie Facebook, Twitter oder Instagram),
2. Interpersonelle Kommunikationsdienste, die einen unmittelbaren Informationsaustausch zwischen ausgewählten Personen ermöglichen (etwa E-Mail-Dienste oder Instant Messenger wie WhatsApp oder Signal),
3. Stores für Software-Anwendungen,
4. Internetzugangsdienste.

Die Diensteanbieter unterliegen jeweils spezifischen Pflichten. Diese Pflichten entstehen teils unmittelbar, teils erst auf Anordnung einer zur Umsetzung der Verordnung berufenen Stelle.

Pflichten zur Risikoabschätzung und -minimierung

Unmittelbar verpflichtet die Verordnung die meisten Diensteanbieter zu einem fortlaufenden Risikomanagement. Die Anbieter von Hostingdiensten und interpersonellen Kommunikationsdiensten müssen mindestens alle drei Jahre das Risiko bewerten, dass ihr Dienst für die Verbreitung inkriminierter Inhalte genutzt wird. Auf dieser Grundlage müssen sie Maßnahmen zur Minderung des ermittelten Risikos treffen, zu denen etwa eine inhaltliche Kuratierung der von ihnen vermittelten Informationen oder eine Altersverifikation gehören können. In jedem Fall müssen die Anbieter von Hostingdiensten und interpersonellen Kommunikationsdiensten ein Meldesystem einrichten, damit ihre Nutzer*innen sie auf inkriminierte Inhalte hinweisen können. Die Anbieter von Stores für Software-Anwendungen müssen evaluieren, inwieweit die auf ihrer Plattform angebotenen Anwendungen das Risiko einer Kontaktaufnahme zu Kindern für sexuelle Zwecke bergen. Gegebenenfalls müssen sie Altersgrenzen für die Nutzung solcher Anwendungen festlegen.

Entfernung und Sperrung konkreter inkriminierter Inhalten

Weitere Pflichten der Diensteanbieter können entstehen durch eine Anordnung eines Gerichts oder einer unabhängigen Verwaltungsbehörde. Den Antrag hierzu stellt jeweils die mitgliedstaatliche Behörde, die primär für den Vollzug der Verordnung zuständig ist (in der Verordnung als Koordinierungsbehörde bezeichnet). Die Anordnungsermächtigungen werden jeweils durch Vorgaben flankiert, die Transparenz gewährleisten und Rechtsschutzmöglichkeiten eröffnen. Die aus einer Anordnung folgenden Pflichten haben teils spezifische Inhalte, deren Speicherort bereits bekannt ist, teils eine unbestimmte Vielzahl von Inhalten bestimmter Kategorien zum Gegenstand:

Auf spezifische Inhalte bezieht sich zum einen die Pflicht von Hostingdiensten, auf Anordnung bestimmte Darstellungen sexualisierter Gewalt zu entfernen. Zum anderen können Internetzugangsdienste verpflichtet werden, den Zugriff auf bestimmte Darstellungen sexualisierter Gewalt zu sperren, wenn diese nicht entfernt werden können, weil sie von kooperationsunwilligen Hostingdiensten aus kooperationsunwilligen Drittstaaten verbreitet werden. Die zu löschenden oder zu sperrenden Inhalte werden anhand von Internetadressen (Uniform Resource Locators oder kurz URL) bezeichnet, die einen bestimmten Speicherort angeben. Eine Anordnung zur Entfernung oder Sperrung von Darstellungen sexualisierter Gewalt verpflichtet den betroffenen Diensteanbieter also nicht, seinen Dienst aktiv nach bestimmten Inhalten zu durchsuchen.

Aufdeckungsanordnungen und Meldepflichten

Eine derartige Pflicht zur aktiven Suche nach möglicherweise inkriminierten Inhalten kann sich allerdings für die Anbieter von Hostingdiensten und interpersonellen Kommunikationsdiensten aus einer Aufdeckungsanordnung ergeben. Eine Aufdeckungsanordnung kann sich auf bis zu drei Typen von Inhalten beziehen:

1. bereits bekannte Darstellungen sexualisierter Gewalt,
2. neue, bislang unbekannte Darstellungen sexualisierter Gewalt,
3. nur bei interpersonellen Kommunikationsdiensten: auch Kontaktaufnahmen zu sexuellen Zwecken.

Wenn der Anbieter eines Hostingdienstes oder eines interpersonellen Kommunikationsdienstes Kenntnis von einem möglichen inkriminierten Inhalt auf seinem Dienst erlangt, muss er den betroffenen Inhalt melden. Diese Meldepflicht besteht unabhängig davon, wie der Anbieter von dem Inhalt erfahren hat. Sie schließt also insbesondere eine Kenntniserlangung sowohl aufgrund des eigenständig eingerichteten Risikomanagements als auch aufgrund einer Aufdeckungsanordnung ein.

Die Meldung richtet sich an das EU-Zentrum für die Verhütung und Bekämpfung sexuellen Kindesmissbrauchs, eine Agentur der Europäischen Union, die durch die Verordnung neu geschaffen wird. Die Verordnung konzipiert das EU-Zentrum als Informations-, Koordinations- und Servicestelle. Das EU-Zentrum hat keine eigenen operativen Befugnisse, unterstützt und verklammert aber die Diensteanbieter und die mitgliedstaatlichen Behörden in vielfältiger Weise. So führt das EU-Zentrum Datenbanken mit Indikatoren zur Erkennung von sexuellem Kindesmissbrauch im Internet. Die Diensteanbieter müssen diese Indikatoren bei der Umsetzung von Entfernungs-, Sperr- oder Aufdeckungsanordnungen zugrunde legen.

Erhält das EU-Zentrum eine Meldung, so prüft es, ob die Meldung offensichtlich unbegründet ist. Ist dies nicht der Fall, leitet das EU-Zentrum die Meldung an Europol und an die Strafverfolgungsbehörden des mutmaßlich zuständigen Mitgliedstaats weiter.

Bekannte Maßnahmen: Pflichten der Anbieter von Internetzugangsdiensten und Hostingdiensten

Die Maßnahmen zur Bekämpfung von Darstellungen sexualisierter Gewalt im Internet, die in der Verordnung vorgesehen sind, sind zu großen Teilen geläufig. Manche Diensteanbieter haben sie bislang freiwillig eingerichtet. Einige Maßnahmen waren bereits Gegenstand gesetzlicher Pflichten. Die bisherige Diskussion hat einige technische Probleme und rechtliche Zweifelsfragen herausgearbeitet, die mit diesen Maßnahmen verbunden sind.

Neuauflage der umstrittenen Internet-Sperren durch Access-Provider

Soweit die Anbieter von Internetzugangsdiensten verpflichtet werden können, bestimmte Darstellungen sexualisierter Gewalt anhand von URLs zu sperren, enthält die Verordnung aus deutscher Sicht eine Neuauflage des 2010 in Kraft getretenen, aber nie angewendeten und 2011 wieder aufgehobenen Zugangserschwerungsgesetzes. Dieses Gesetz verschaffte der damaligen Bundesfamilienministerin (und heutigen Präsidentin der Europäischen Kommission) den bösen Spitznamen „Zensursula“.

Sperrungen von URLs durch Zugangsanbieter weisen vor allem zwei Probleme auf, die bereits in der Diskussion zum Zugangserschwerungsgesetz hervorgehoben wurden:

Erstens bestehen Zweifel an der Wirksamkeit dieser Maßnahme. Einige der gängigen Sperrmechanismen lassen sich leicht umgehen. Bei verschlüsselten Verbindungen kann zudem der Zugangsanbieter die URL nicht vollständig lesen, sodass er die Sperrung nicht ohne aufwändige technische Maßnahmen (z.B. Umleitung auf Zwangs-Proxys) umsetzen kann.

Zweitens ermöglichen viele Sperrmechanismen nicht, die Sperrung trennscharf auf den konkreten zu sperrenden Inhalt zu beschränken, sondern erzeugen Kollateralschäden in Form eines Overblocking. Die Verordnung spezifiziert nicht, wie die Sperrung technisch umgesetzt werden soll, und setzt einer überschießenden Sperrung damit zumindest keine klaren Grenzen. Allerdings ermöglichen die Transparenz- und Rechtsschutzvorkehrungen es den Diensteanbietern und Nutzer*innen, zumindest gegen eine ausufernde Sperrpraxis vorzugehen. Zudem beschränken sich Sperranordnungen auf Inhalte, deren Löschung sich nicht erreichen lässt.

Insgesamt erscheint uns die Ermächtigung hinnehmbar, sofern sie um konkrete und praktisch wirksame Vorkehrungen ergänzt wird, die ein Overblocking verhindern. Das ist insbesondere deshalb wichtig, weil es für die Anbieter von Internetzugangsdiensten technisch wesentlich einfacher ist, grobmaschige Sperren auf der Basis von IP-Adressen oder einer Manipulation des Domain-Name-Systems vorzusehen, als tatsächlich nur einzelne Inhalte auf der Basis von URL zu sperren. Ohne konkrete und wirksame Vorgaben zur Verhinderung von Overblocking könnte die Verordnung sonst also erhebliche Fehlanreize setzen.

Entfernungs- und Aufdeckungspflicht von Hosting-Anbietern

Die in dem Entwurf vorgesehenen Verpflichtungen der Anbieter von Hostingdiensten sind differenziert zu beurteilen. Technisch und rechtsstaatlich unbedenklich und rechtspolitisch zu begrüßen ist die Ermächtigung zu Entfernungsanordnungen, die sich auf konkrete gespeicherte Inhalte beziehen. Nach Presseberichten verhalten sich Hostingdienste hier sogar bei Hinweisen nichtstaatlicher Stellen ausnahmslos kooperativ, sodass diese Verpflichtung gleichsam offene Türen einrennen würde. Problematischer sind Aufdeckungsanordnungen, die Diensteanbieter verpflichten, ihr Angebot aktiv nach bekannten oder unbekannten Darstellungen sexualisierter Gewalt gegen Kinder zu durchsuchen.

Die Verordnung überlässt es ausdrücklich den Diensteanbietern, mit welchen technischen Mitteln sie Aufdeckungsanordnungen umsetzen, wenngleich das EU-Zentrum ihnen Aufdeckungstechnik kostenfrei zur Verfügung stellen soll. In jedem Fall muss die Aufdeckung von Indikatoren für Darstellungen sexualisierter Gewalt gegen Kinder ausgehen, die das EU-Zentrum zur Bekämpfung des Kindesmissbrauchs bereitstellt. Welche Informationen genau diese Indikatoren enthalten, spezifiziert die Verordnung wiederum nicht. Allerdings laufen die Aufdeckungsvorgaben nach dem gegenwärtigen und mittelfristig absehbaren Stand der Technik auf zwei technische Umsetzungen hinaus.

Hashwertbasierte Entfernung bekannter inkriminierter Inhalte

Um bereits bekannte Darstellungen zu identifizieren, liegt es nahe, Hashwerte zu verwenden. Ein Hashwert ist eine Art digitaler Fingerabdruck, der aus einer Datei berechnet wird und diese identifiziert. Hingegen ist es nicht möglich, aus dem Hashwert die zugrunde liegende Datei zu berechnen. Ein hashbasierter Aufdeckungsmechanismus vergleicht die Hashwerte der Dateien, die auf dem Hostingdienst vorhanden sind, mit den vom EU-Zentrum zugelieferten Hashwerten bekannter Darstellungen. Dabei soll möglichst gewährleistet sein, dass eine Darstellung auch nach geringfügigen Änderungen (etwa Größenänderungen oder einer neuen Einfärbung) erkannt wird. Hierzu dient sogenanntes Perceptual Hashing, das den Hashwert nicht aus der gesamten Datei, sondern aus bestimmten Struktureigenschaften des darin enthaltenen Bildmaterials berechnet. Gerade weil Perceptual Hashing robust für Änderungen ist, ist es jedoch prinzipiell auch anfällig für falsch positive Treffer. Beispielsweise könnte ein unverfängliches Bild denselben Hashwert wie eine Darstellung sexualisierter Gewalt ergeben, weil es eine ähnliche Helligkeitsverteilung aufweist.

Wunderwaffe „künstliche Intelligenz“?

Hingegen kommt ein hashwertbasierter Aufdeckungsansatz bei neuen, noch unbekannten Darstellungen sexualisierter Gewalt gegen Kinder nicht in Betracht. Um solche Darstellungen automatisch zu erkennen, können allein selbstlernende Algorithmen eingesetzt werden. Die Algorithmen identifizieren in Trainingsdaten Muster und wenden sie auf die Inhalte an, die bei dem Hostingdienst vorhanden sind. Bei diesem Verfahren ist allerdings in jedem Fall mit einer weitaus höheren Zahl falsch positiver Klassifikationen zu rechnen, die sich durch eine Verfeinerung der Analysetechnik vermindern, voraussichtlich aber nicht ausschließen lassen. So kann die Einstufung eines Inhalts als Gewaltdarstellung vom Herstellungs- und Verbreitungskontext abhängen. Bei Inhalten, die kein tatsächliches Geschehen wiedergeben, können zudem komplexe Abwägungen erforderlich sein, etwa wenn ein Inhalt als Kunstwerk einzustufen ist. Inwieweit selbstlernende Algorithmen auf absehbare Zeit zu den erforderlichen Kontextwürdigungen und Abwägungen in der Lage sein werden, erscheint offen.

Wie lässt sich die Zuverlässigkeit von Aufdeckungssystemen messen?

Um das Risiko von Klassifikationsfehlern einzuschätzen und zu bewerten, kann man auf gängige Metriken für Klassifikationsmodelle zurückgreifen:

Die Genauigkeit (accuracy) gibt den Anteil korrekter Klassifikationen an der Gesamtheit der Klassifikationsvorgänge an. Sie sagt allerdings nichts über die Verteilung der Klassifikationsfehler auf die Klassen aus. Befinden sich beispielsweise unter 10.000 Bildern zwei Darstellungen sexualisierter Gewalt und ordnet ein Aufdeckungssystem alle Bilder als harmlos ein, so begeht es lediglich zwei Klassifikationsfehler auf 10.000 Klassifikationsvorgänge und weist dementsprechend eine hohe Genauigkeit von 99,98% auf. Gleichwohl ist das System unbrauchbar, da es die Gewaltdarstellungen nicht erkennt.

Die Präzision (precision) setzt hingegen die richtig positiven Klassifikationen ins Verhältnis zu allen positiven Klassifikationen. Erkennt im Beispiel das System bei 10.000 Klassifikationsvorgängen beide Darstellungen sexualisierter Gewalt und ordnet zudem zwei harmlose Bilder als Gewaltdarstellungen ein, so liegt seine Präzision lediglich bei 50%, während die Genauigkeit 99,98% beträgt.

Die Sensitivität (recall) gibt den Anteil der richtig positiven Klassifikationen an den tatsächlich Positiven an. In dem soeben angeführten Beispiel läge die Sensitivität bei 100%, da die beiden Gewaltdarstellungen korrekt erkannt wurden.

Präzision und Sensitivität lassen sich nicht gleichzeitig optimieren. Vielmehr gehen Verbesserungen in der einen Metrik in der Regel zulasten der anderen. Wird etwa ein Aufdeckungssystem so eingestellt, dass es möglichst viele Gewaltdarstellungen erkennt, wird es typischerweise mehr harmlose Darstellungen falsch positiv klassifizieren.

Risiko fehlerhafter Einstufungen

Das Risiko eines Aufdeckungssystems für die Kommunikationsfreiheiten hängt maßgeblich von der Präzision des Systems ab. Für die bereits existierenden Systeme zur Aufdeckung von Darstellungen sexualisierter Gewalt werden insoweit hohe Werte angegeben. So soll das von Microsoft entwickelte und von vielen großen Diensteanbietern genutzte hashbasierte Aufdeckungssystem PhotoDNA eine äußerst geringe Fehlerquote von 1 zu 50 Mrd. aufweisen. Die Genauigkeit des Systems wäre danach so hoch, dass auch von einer sehr hohen Präzision ausgegangen werden kann. Eine vergleichbar hohe Präzision lässt sich mit Systemen, die auf maschinellem Lernen basieren, zumindest gegenwärtig nicht erzielen. Immerhin heißt es zu dem von Thorn angebotenen Produkt Safer in der Folgenabschätzung der Kommission, die mit dem Verordnungsentwurf veröffentlicht wurde, es könne eine Präzision von 99,9% und dabei noch eine Sensitivität von 80% erreichen. Allerdings geht aus der Folgenabschätzung nicht hervor, wie genau dieses ermutigende Ergebnis berechnet wurde.

Vorgaben des EuGH für sogenannte „Uploadfilter“

Im Übrigen stellt sich das Risiko, dass eine automatische Aufdeckung von Rechtsverstößen auf Hostingdiensten zu einer zu hohen Zahl falsch positiver Fehlklassifikationen führt und dadurch Kommunikationsfreiheiten übermäßig beschränkt, nicht nur bei Darstellungen sexualisierter Gewalt. So sieht die Richtlinie (EU) 2019/790 vor, bestimmte Anbieter von Hostingdiensten (Diensteanbieter für das Teilen von Online-Inhalten) dafür in die Pflicht zu nehmen, dass bestimmt