Mein Spion ist immer bei mir

Am 11. Mai dieses Jahres hat die Europäische Kommission ihren Entwurf einer „Verordnung zur Festlegung von Vorschriften zur Prävention und Bekämpfung des sexuellen Missbrauchs von Kindern“ vorgelegt. Die geplante Verordnung soll sexualisierter Gewalt gegen Minderjährige sowie deren Anbahnung im Internet durch ein komplexes Gefüge von Pflichten für die wichtigsten Intermediäre der Netzkommunikation entgegenwirken. Zudem soll sie eine grenzüberschreitende Behördeninfrastruktur mit einer neuen Agentur der Europäischen Union als zentralem Knotenpunkt errichten. Die ersten Reaktionen auf den Entwurf waren kontrovers. So haben zahlreiche Kinderschutzverbände den Kommissionsvorschlag in einem offenen Brief unterstützt. Demgegenüber haben etwa Bürgerrechtsorganisationen, Branchenverbände und Datenschutzaufsichtsbehörden den Entwurf teils scharf kritisiert. Auch die Bundesregierung hat eine skeptische Haltung erkennen lassen, als sie der Kommission eine umfangreiche Liste mit teils erkennbar kritischen Fragen übersandt hat.

Bei näherer Betrachtung bündelt der Entwurf einerseits Maßnahmen zur Bekämpfung sexualisierter Gewalt, die seit geraumer Zeit geläufig sind, deren technische Probleme und rechtliche Zweifelsfragen aber nach wie vor nicht vollständig bewältigt sind. Neu ist andererseits, dass nach der vorgeschlagenen Verordnung die Individualkommunikation auf bestimmten Kommunikationsdiensten großflächig und teils anlasslos auf bestimmte Inhalte durchsucht werden soll. Gerade dieser Teil des Entwurfs ist besonders kritisch zu bewerten.

Problematische Terminologie des Verordnungsentwurfs

Die Verordnung nimmt verschiedene Intermediäre der Internetkommunikation weitreichend in die Pflicht, um den „sexuellen Kindesmissbrauch im Internet“ zu bekämpfen. Hierunter versteht die Verordnung – in Anknüpfung an die Richtlinie 2011/93/EU zur Bekämpfung des sexuellen Missbrauchs von Kindern – zum einen die Verbreitung von „Darstellungen sexuellen Kindesmissbrauchs“ (sog. Kinderpornographie), zum anderen die Kontaktaufnahme zu Kindern für sexuelle Zwecke (oft als Grooming bezeichnet), soweit hierzu internetbasierte Dienste genutzt werden. Im Folgenden werden beide Arten von Inhalten mit dem Oberbegriff „inkriminierte Inhalte“ bezeichnet. Zudem sprechen wir statt von „Darstellungen sexuellen Kindesmissbrauchs“ von Darstellungen sexualisierter Gewalt gegen Kinder. Denn die Terminologie der Verordnung ist nicht unproblematisch. Der Begriff „Kindesmissbrauch“ wird von vielen Betroffenen kritisch gesehen, weil er implizieren könnte, es gebe legitimen „Gebrauch“ von Kindern. Wir verwenden diesen Begriff hier daher nur in Form von Zitaten, weil es sich um die Terminologie des Entwurfs handelt.

Wesentliche Inhalte des Entwurfs im Überblick

Die Inpflichtnahme erstreckt sich auf die Anbieter von vier Typen von Diensten:

1. Hostingdienste, die fremde Informationen im Auftrag von Nutzer*innen speichern und für Dritte verfügbar machen (hierzu zählen etwa Soziale Medien wie Facebook, Twitter oder Instagram),
2. Interpersonelle Kommunikationsdienste, die einen unmittelbaren Informationsaustausch zwischen ausgewählten Personen ermöglichen (etwa E-Mail-Dienste oder Instant Messenger wie WhatsApp oder Signal),
3. Stores für Software-Anwendungen,
4. Internetzugangsdienste.

Die Diensteanbieter unterliegen jeweils spezifischen Pflichten. Diese Pflichten entstehen teils unmittelbar, teils erst auf Anordnung einer zur Umsetzung der Verordnung berufenen Stelle.

Pflichten zur Risikoabschätzung und -minimierung

Unmittelbar verpflichtet die Verordnung die meisten Diensteanbieter zu einem fortlaufenden Risikomanagement. Die Anbieter von Hostingdiensten und interpersonellen Kommunikationsdiensten müssen mindestens alle drei Jahre das Risiko bewerten, dass ihr Dienst für die Verbreitung inkriminierter Inhalte genutzt wird. Auf dieser Grundlage müssen sie Maßnahmen zur Minderung des ermittelten Risikos treffen, zu denen etwa eine inhaltliche Kuratierung der von ihnen vermittelten Informationen oder eine Altersverifikation gehören können. In jedem Fall müssen die Anbieter von Hostingdiensten und interpersonellen Kommunikationsdiensten ein Meldesystem einrichten, damit ihre Nutzer*innen sie auf inkriminierte Inhalte hinweisen können. Die Anbieter von Stores für Software-Anwendungen müssen evaluieren, inwieweit die auf ihrer Plattform angebotenen Anwendungen das Risiko einer Kontaktaufnahme zu Kindern für sexuelle Zwecke bergen. Gegebenenfalls müssen sie Altersgrenzen für die Nutzung solcher Anwendungen festlegen.

Entfernung und Sperrung konkreter inkriminierter Inhalten

Weitere Pflichten der Diensteanbieter können entstehen durch eine Anordnung eines Gerichts oder einer unabhängigen Verwaltungsbehörde. Den Antrag hierzu stellt jeweils die mitgliedstaatliche Behörde, die primär für den Vollzug der Verordnung zuständig ist (in der Verordnung als Koordinierungsbehörde bezeichnet). Die Anordnungsermächtigungen werden jeweils durch Vorgaben flankiert, die Transparenz gewährleisten und Rechtsschutzmöglichkeiten eröffnen. Die aus einer Anordnung folgenden Pflichten haben teils spezifische Inhalte, deren Speicherort bereits bekannt ist, teils eine unbestimmte Vielzahl von Inhalten bestimmter Kategorien zum Gegenstand:

Auf spezifische Inhalte bezieht sich zum einen die Pflicht von Hostingdiensten, auf Anordnung bestimmte Darstellungen sexualisierter Gewalt zu entfernen. Zum anderen können Internetzugangsdienste verpflichtet werden, den Zugriff auf bestimmte Darstellungen sexualisierter Gewalt zu sperren, wenn diese nicht entfernt werden können, weil sie von kooperationsunwilligen Hostingdiensten aus kooperationsunwilligen Drittstaaten verbreitet werden. Die zu löschenden oder zu sperrenden Inhalte werden anhand von Internetadressen (Uniform Resource Locators oder kurz URL) bezeichnet, die einen bestimmten Speicherort angeben. Eine Anordnung zur Entfernung oder Sperrung von Darstellungen sexualisierter Gewalt verpflichtet den betroffenen Diensteanbieter also nicht, seinen Dienst aktiv nach bestimmten Inhalten zu durchsuchen.

Aufdeckungsanordnungen und Meldepflichten

Eine derartige Pflicht zur aktiven Suche nach möglicherweise inkriminierten Inhalten kann sich allerdings für die Anbieter von Hostingdiensten und interpersonellen Kommunikationsdiensten aus einer Aufdeckungsanordnung ergeben. Eine Aufdeckungsanordnung kann sich auf bis zu drei Typen von Inhalten beziehen:

1. bereits bekannte Darstellungen sexualisierter Gewalt,
2. neue, bislang unbekannte Darstellungen sexualisierter Gewalt,
3. nur bei interpersonellen Kommunikationsdiensten: auch Kontaktaufnahmen zu sexuellen Zwecken.

Wenn der Anbieter eines Hostingdienstes oder eines interpersonellen Kommunikationsdienstes Kenntnis von einem möglichen inkriminierten Inhalt auf seinem Dienst erlangt, muss er den betroffenen Inhalt melden. Diese Meldepflicht besteht unabhängig davon, wie der Anbieter von dem Inhalt erfahren hat. Sie schließt also insbesondere eine Kenntniserlangung sowohl aufgrund des eigenständig eingerichteten Risikomanagements als auch aufgrund einer Aufdeckungsanordnung ein.

Die Meldung richtet sich an das EU-Zentrum für die Verhütung und Bekämpfung sexuellen Kindesmissbrauchs, eine Agentur der Europäischen Union, die durch die Verordnung neu geschaffen wird. Die Verordnung konzipiert das EU-Zentrum als Informations-, Koordinations- und Servicestelle. Das EU-Zentrum hat keine eigenen operativen Befugnisse, unterstützt und verklammert aber die Diensteanbieter und die mitgliedstaatlichen Behörden in vielfältiger Weise. So führt das EU-Zentrum Datenbanken mit Indikatoren zur Erkennung von sexuellem Kindesmissbrauch im Internet. Die Diensteanbieter müssen diese Indikatoren bei der Umsetzung von Entfernungs-, Sperr- oder Aufdeckungsanordnungen zugrunde legen.

Erhält das EU-Zentrum eine Meldung, so prüft es, ob die Meldung offensichtlich unbegründet ist. Ist dies nicht der Fall, leitet das EU-Zentrum die Meldung an Europol und an die Strafverfolgungsbehörden des mutmaßlich zuständigen Mitgliedstaats weiter.

Bekannte Maßnahmen: Pflichten der Anbieter von Internetzugangsdiensten und Hostingdiensten

Die Maßnahmen zur Bekämpfung von Darstellungen sexualisierter Gewalt im Internet, die in der Verordnung vorgesehen sind, sind zu großen Teilen geläufig. Manche Diensteanbieter haben sie bislang freiwillig eingerichtet. Einige Maßnahmen waren bereits Gegenstand gesetzlicher Pflichten. Die bisherige Diskussion hat einige technische Probleme und rechtliche Zweifelsfragen herausgearbeitet, die mit diesen Maßnahmen verbunden sind.

Neuauflage der umstrittenen Internet-Sperren durch Access-Provider

Soweit die Anbieter von Internetzugangsdiensten verpflichtet werden können, bestimmte Darstellungen sexualisierter Gewalt anhand von URLs zu sperren, enthält die Verordnung aus deutscher Sicht eine Neuauflage des 2010 in Kraft getretenen, aber nie angewendeten und 2011 wieder aufgehobenen Zugangserschwerungsgesetzes. Dieses Gesetz verschaffte der damaligen Bundesfamilienministerin (und heutigen Präsidentin der Europäischen Kommission) den bösen Spitznamen „Zensursula“.

Sperrungen von URLs durch Zugangsanbieter weisen vor allem zwei Probleme auf, die bereits in der Diskussion zum Zugangserschwerungsgesetz hervorgehoben wurden:

Erstens bestehen Zweifel an der Wirksamkeit dieser Maßnahme. Einige der gängigen Sperrmechanismen lassen sich leicht umgehen. Bei verschlüsselten Verbindungen kann zudem der Zugangsanbieter die URL nicht vollständig lesen, sodass er die Sperrung nicht ohne aufwändige technische Maßnahmen (z.B. Umleitung auf Zwangs-Proxys) umsetzen kann.

Zweitens ermöglichen viele Sperrmechanismen nicht, die Sperrung trennscharf auf den konkreten zu sperrenden Inhalt zu beschränken, sondern erzeugen Kollateralschäden in Form eines Overblocking. Die Verordnung spezifiziert nicht, wie die Sperrung technisch umgesetzt werden soll, und setzt einer überschießenden Sperrung damit zumindest keine klaren Grenzen. Allerdings ermöglichen die Transparenz- und Rechtsschutzvorkehrungen es den Diensteanbietern und Nutzer*innen, zumindest gegen eine ausufernde Sperrpraxis vorzugehen. Zudem beschränken sich Sperranordnungen auf Inhalte, deren Löschung sich nicht erreichen lässt.

Insgesamt erscheint uns die Ermächtigung hinnehmbar, sofern sie um konkrete und praktisch wirksame Vorkehrungen ergänzt wird, die ein Overblocking verhindern. Das ist insbesondere deshalb wichtig, weil es für die Anbieter von Internetzugangsdiensten technisch wesentlich einfacher ist, grobmaschige Sperren auf der Basis von IP-Adressen oder einer Manipulation des Domain-Name-Systems vorzusehen, als tatsächlich nur einzelne Inhalte auf der Basis von URL zu sperren. Ohne konkrete und wirksame Vorgaben zur Verhinderung von Overblocking könnte die Verordnung sonst also erhebliche Fehlanreize setzen.

Entfernungs- und Aufdeckungspflicht von Hosting-Anbietern

Die in dem Entwurf vorgesehenen Verpflichtungen der Anbieter von Hostingdiensten sind differenziert zu beurteilen. Technisch und rechtsstaatlich unbedenklich und rechtspolitisch zu begrüßen ist die Ermächtigung zu Entfernungsanordnungen, die sich auf konkrete gespeicherte Inhalte beziehen. Nach Presseberichten verhalten sich Hostingdienste hier sogar bei Hinweisen nichtstaatlicher Stellen ausnahmslos kooperativ, sodass diese Verpflichtung gleichsam offene Türen einrennen würde. Problematischer sind Aufdeckungsanordnungen, die Diensteanbieter verpflichten, ihr Angebot aktiv nach bekannten oder unbekannten Darstellungen sexualisierter Gewalt gegen Kinder zu durchsuchen.

Die Verordnung überlässt es ausdrücklich den Diensteanbietern, mit welchen technischen Mitteln sie Aufdeckungsanordnungen umsetzen, wenngleich das EU-Zentrum ihnen Aufdeckungstechnik kostenfrei zur Verfügung stellen soll. In jedem Fall muss die Aufdeckung von Indikatoren für Darstellungen sexualisierter Gewalt gegen Kinder ausgehen, die das EU-Zentrum zur Bekämpfung des Kindesmissbrauchs bereitstellt. Welche Informationen genau diese Indikatoren enthalten, spezifiziert die Verordnung wiederum nicht. Allerdings laufen die Aufdeckungsvorgaben nach dem gegenwärtigen und mittelfristig absehbaren Stand der Technik auf zwei technische Umsetzungen hinaus.

Hashwertbasierte Entfernung bekannter inkriminierter Inhalte

Um bereits bekannte Darstellungen zu identifizieren, liegt es nahe, Hashwerte zu verwenden. Ein Hashwert ist eine Art digitaler Fingerabdruck, der aus einer Datei berechnet wird und diese identifiziert. Hingegen ist es nicht möglich, aus dem Hashwert die zugrunde liegende Datei zu berechnen. Ein hashbasierter Aufdeckungsmechanismus vergleicht die Hashwerte der Dateien, die auf dem Hostingdienst vorhanden sind, mit den vom EU-Zentrum zugelieferten Hashwerten bekannter Darstellungen. Dabei soll möglichst gewährleistet sein, dass eine Darstellung auch nach geringfügigen Änderungen (etwa Größenänderungen oder einer neuen Einfärbung) erkannt wird. Hierzu dient sogenanntes Perceptual Hashing, das den Hashwert nicht aus der gesamten Datei, sondern aus bestimmten Struktureigenschaften des darin enthaltenen Bildmaterials berechnet. Gerade weil Perceptual Hashing robust für Änderungen ist, ist es jedoch prinzipiell auch anfällig für falsch positive Treffer. Beispielsweise könnte ein unverfängliches Bild denselben Hashwert wie eine Darstellung sexualisierter Gewalt ergeben, weil es eine ähnliche Helligkeitsverteilung aufweist.

Wunderwaffe „künstliche Intelligenz“?

Hingegen kommt ein hashwertbasierter Aufdeckungsansatz bei neuen, noch unbekannten Darstellungen sexualisierter Gewalt gegen Kinder nicht in Betracht. Um solche Darstellungen automatisch zu erkennen, können allein selbstlernende Algorithmen eingesetzt werden. Die Algorithmen identifizieren in Trainingsdaten Muster und wenden sie auf die Inhalte an, die bei dem Hostingdienst vorhanden sind. Bei diesem Verfahren ist allerdings in jedem Fall mit einer weitaus höheren Zahl falsch positiver Klassifikationen zu rechnen, die sich durch eine Verfeinerung der Analysetechnik vermindern, voraussichtlich aber nicht ausschließen lassen. So kann die Einstufung eines Inhalts als Gewaltdarstellung vom Herstellungs- und Verbreitungskontext abhängen. Bei Inhalten, die kein tatsächliches Geschehen wiedergeben, können zudem komplexe Abwägungen erforderlich sein, etwa wenn ein Inhalt als Kunstwerk einzustufen ist. Inwieweit selbstlernende Algorithmen auf absehbare Zeit zu den erforderlichen Kontextwürdigungen und Abwägungen in der Lage sein werden, erscheint offen.

Wie lässt sich die Zuverlässigkeit von Aufdeckungssystemen messen?

Um das Risiko von Klassifikationsfehlern einzuschätzen und zu bewerten, kann man auf gängige Metriken für Klassifikationsmodelle zurückgreifen:

Die Genauigkeit (accuracy) gibt den Anteil korrekter Klassifikationen an der Gesamtheit der Klassifikationsvorgänge an. Sie sagt allerdings nichts über die Verteilung der Klassifikationsfehler auf die Klassen aus. Befinden sich beispielsweise unter 10.000 Bildern zwei Darstellungen sexualisierter Gewalt und ordnet ein Aufdeckungssystem alle Bilder als harmlos ein, so begeht es lediglich zwei Klassifikationsfehler auf 10.000 Klassifikationsvorgänge und weist dementsprechend eine hohe Genauigkeit von 99,98% auf. Gleichwohl ist das System unbrauchbar, da es die Gewaltdarstellungen nicht erkennt.

Die Präzision (precision) setzt hingegen die richtig positiven Klassifikationen ins Verhältnis zu allen positiven Klassifikationen. Erkennt im Beispiel das System bei 10.000 Klassifikationsvorgängen beide Darstellungen sexualisierter Gewalt und ordnet zudem zwei harmlose Bilder als Gewaltdarstellungen ein, so liegt seine Präzision lediglich bei 50%, während die Genauigkeit 99,98% beträgt.

Die Sensitivität (recall) gibt den Anteil der richtig positiven Klassifikationen an den tatsächlich Positiven an. In dem soeben angeführten Beispiel läge die Sensitivität bei 100%, da die beiden Gewaltdarstellungen korrekt erkannt wurden.

Präzision und Sensitivität lassen sich nicht gleichzeitig optimieren. Vielmehr gehen Verbesserungen in der einen Metrik in der Regel zulasten der anderen. Wird etwa ein Aufdeckungssystem so eingestellt, dass es möglichst viele Gewaltdarstellungen erkennt, wird es typischerweise mehr harmlose Darstellungen falsch positiv klassifizieren.

Risiko fehlerhafter Einstufungen

Das Risiko eines Aufdeckungssystems für die Kommunikationsfreiheiten hängt maßgeblich von der Präzision des Systems ab. Für die bereits existierenden Systeme zur Aufdeckung von Darstellungen sexualisierter Gewalt werden insoweit hohe Werte angegeben. So soll das von Microsoft entwickelte und von vielen großen Diensteanbietern genutzte hashbasierte Aufdeckungssystem PhotoDNA eine äußerst geringe Fehlerquote von 1 zu 50 Mrd. aufweisen. Die Genauigkeit des Systems wäre danach so hoch, dass auch von einer sehr hohen Präzision ausgegangen werden kann. Eine vergleichbar hohe Präzision lässt sich mit Systemen, die auf maschinellem Lernen basieren, zumindest gegenwärtig nicht erzielen. Immerhin heißt es zu dem von Thorn angebotenen Produkt Safer in der Folgenabschätzung der Kommission, die mit dem Verordnungsentwurf veröffentlicht wurde, es könne eine Präzision von 99,9% und dabei noch eine Sensitivität von 80% erreichen. Allerdings geht aus der Folgenabschätzung nicht hervor, wie genau dieses ermutigende Ergebnis berechnet wurde.

Vorgaben des EuGH für sogenannte „Uploadfilter“

Im Übrigen stellt sich das Risiko, dass eine automatische Aufdeckung von Rechtsverstößen auf Hostingdiensten zu einer zu hohen Zahl falsch positiver Fehlklassifikationen führt und dadurch Kommunikationsfreiheiten übermäßig beschränkt, nicht nur bei Darstellungen sexualisierter Gewalt. So sieht die Richtlinie (EU) 2019/790 vor, bestimmte Anbieter von Hostingdiensten (Diensteanbieter für das Teilen von Online-Inhalten) dafür in die Pflicht zu nehmen, dass bestimmte urheberrechtlich geschützter Werke auf ihren Plattformen nicht verfügbar sind und nicht auf sie hochgeladen werden. Faktisch lässt sich diese Vorgabe nur durch automatische Filtersysteme umsetzen, die technisch mit den Aufdeckungstechniken für Missbrauchsdarstellungen weitgehend übereinstimmen. Der Gerichtshof der Europäischen Union hat diese Regelung gebilligt. Zur Begründung hat der Gerichtshof auf Vorgaben der Richtlinie verwiesen, die das Risiko eines Overblocking wegen einer falsch positiven Aufdeckung einhegen. Daneben hat der Gerichtshof ausgeführt, die Diensteanbieter müssten nach der Richtlinie nur solche Inhalte detektieren und sperren, die ihnen von den Rechteinhabern bezeichnet wurden. Zudem müssten die Diensteanbieter Inhalte nicht sperren, wenn sie dazu die Rechtswidrigkeit der Veröffentlichung selbst anhand urheberrechtlicher Schrankenregelungen in einer eingehenden rechtlichen Prüfung beurteilen müssten. Schließlich stelle die Richtlinie prozedurale Garantien zum Schutz der Kommunikationsfreiheiten bereit.

Grundsätzliche Tragfähigkeit der Aufdeckungspflicht und Änderungsbedarf im Detail

Auch der aktuelle Verordnungsentwurf enthält technische und prozedurale Vorgaben, um das Risiko einer überschießenden Aufdeckung zu vermindern und Transparenz und Rechtsschutz zu gewährleisten. Zudem wird im Rahmen des Meldeverfahrens das EU-Zentrum als Kontrollstelle ohne operative Befugnisse zwischengeschaltet. Die Plausibilitätsprüfung durch das EU-Zentrum reduziert das Risiko, dass falsch positive Treffer des Aufdeckungssystems einschneidende Folgen für die betroffenen Nutzer*innen haben.

Vor diesem Hintergrund erscheint uns die Ermächtigung zum Erlass von Aufdeckungsanordnungen gegen die Betreiber von Hosting-Diensten grundsätzlich grundrechtlich vertretbar, sofern die gespeicherten Inhalte im Internet veröffentlicht werden (im Gegensatz zu privaten Online-Speicherdiensten wie z.B. Dropbox) und zum Download durch einen unbestimmten Personenkreis bestimmt sind. In diesen Fällen verletzt die Kenntnisnahme und Analyse der gespeicherten Inhalte durch den Diensteanbieter keine schutzwürdige Vertraulichkeitserwartung.

Allerdings wirft vor allem der Einsatz selbstlernender Algorithmen zur Aufdeckung neuer Darstellungen sexualisierter Gewalt nach aktuellem Stand erhebliche technische Probleme auf. Auch wenn sich solche Darstellungen in der Regel leichter feststellen lassen dürften als Urheberrechtsverletzungen, kann die Einstufung in bestimmten Fallkonstellationen schwierige Kontextualisierungs- und Abwägungsprobleme verursachen. Darum sollte der Verordnungsentwurf dahingehend geändert werden, dass Anordnungen zur Aufdeckung neuer Darstellungen sexualisierter Gewalt gegen Kinder nur zulässig sind, wenn sich mit verfügbaren Aufdeckungssystemen aufgrund belastbarer Erkenntnisse eine sehr hohe Präzision erreichen lässt, den Diensteanbietern der Einsatz hinreichend präziser Systeme verbindlich vorgegeben wird und die Präzision beim Betrieb des Systems evaluiert wird. Gegebenenfalls kann dies dazu führen, dass nur nach bestimmten Kategorien unbekannter Gewaltdarstellungen gesucht werden darf, die sich präziser identifizieren lassen. Soweit sich herausstellt, dass die Präzision beim praktischen Einsatz einen vorzugebenden Schwellenwert in einem definierten Zeitfenster signifikant unterschreitet, ist der Einsatz abzubrechen.

Neue Maßnahme: Aufdeckungspflicht bei interpersonellen Kommunikationsdiensten („Chatkontrolle“)

Neuland betritt die Verordnung, indem sie Aufdeckungsanordnungen auch gegen die Betreiber von interpersonellen Kommunikationsdiensten ermöglicht. Eine derartige Ermächtigung gab es bisher nicht. Einen Vorläufer stellt allerdings das 2021 angekündigte, nach massiver Kritik verschobene Vorhaben von Apple dar, iCloud-Uploads hashbasiert auf bekannte Missbrauchsdarstellungen zu überprüfen. Diese Ermächtigung erscheint uns aus einer grundrechtlichen Perspektive überwiegend nicht haltbar.

Besonders großes Klassifikationsrisiko

Die Aufdeckung birgt wiederum das Risiko falsch positiver Treffer, die zu überschießenden Sperren und schlimmstenfalls zu schwerwiegenden Eingriffsmaßnahmen durch mitgliedstaatliche Kriminalbehörden führen können. Im Vergleich zu Hostingdiensten erscheint uns dieses Risiko sogar beträchtlich erhöht.

Zum einen finden sich gerade unter Bildern und Videos, die an ausgewählte Empfänger*innen versendet werden, besonders häufig Inhalte, die sich erst aufgrund einer Kontextualisierung einstufen lassen. Hierdurch dürfte sich die Präzision algorithmischer Klassifikationssysteme erheblich vermindern. So kann das Bild eines nackten Kindes am Strand je nach Herstellungs- und Verbreitungskontext als Darstellung sexualisierter Gewalt oder als harmloser Urlaubsgruß im Familienkreis einzustufen sein.

Zum anderen können sich Aufdeckungsanordnungen bei interpersonellen Kommunikationsdiensten auch auf die Kontaktaufnahme zu sexuellen Zwecken („Grooming“) erstrecken. Aufgrund einer solchen Anordnung muss der Diensteanbieter Kommunikationsbeziehungen zwischen mutmaßlichen Kindern und mutmaßlichen Erwachsenen identifizieren und auf hinreichend belastbare Anhaltspunkte für eine solche Kontaktaufnahme untersuchen. Dies setzt eine komplexe Würdigung von Inhalt und Kontext der Kommunikation voraus. Zwar gibt es erste technische Lösungen, die diese Aufdeckungsleistung erbringen sollen, etwa das von Microsoft zusammen mit Partnerunternehmen entwickelte Project Artemis. Es steht aber zu bezweifeln, dass sich in absehbarer Zeit ein hinreichendes Präzisionsniveau erreichen lässt. So wird in der Folgenabschätzung der Kommission für Project Artemis eine Genauigkeit (anscheinend also nicht Präzision) von 88% angegeben, sodass etwa jedes zehnte Klassifikationsergebnis falsch ist. Da es viel mehr harmlose Kommunikationsvorgänge als Kontaktaufnahmen zu Kindern zu sexuellen Zwecken gibt, dürfte es sich bei den Fehlklassifikationen ganz überwiegend um falsch positive Klassifikationen handeln. Bei Milliarden von interpersonellen Kommunikationsvorgängen pro Tag in der Europäischen Union würde ein derart unpräzises System täglich viele Millionen falsch positiver Meldungen erzeugen. Die Folgen wären hohe Risiken für die Nutzer*innen interpersoneller Kommunikationsdienste und zugleich eine extreme Belastung des EU-Zentrums und der mitgliedstaatlichen Strafverfolgungsbehörden.

Technische Varianten der „Chatkontrolle“

Ein spezifisches rechtliches Problem der Aufdeckung bei interpersonellen Kommunikationsdiensten besteht zudem darin, dass die Aufdeckung die durch die Grundrechte geschützte Vertraulichkeit der Kommunikation verletzt. In dieser Hinsicht unterscheiden sich solche Aufdeckungsanordnungen wesentlich von Anordnungen gegen Anbieter von Hostingdiensten, die für die Allgemeinheit bestimmt sind: Wenn – und nur wenn – alle Inhalte an eine unbestimmte Anzahl von Personen gerichtet sind, beeinträchtigt die Kenntnisnahme und Auswertung der gespeicherten Inhalte durch den Diensteanbieter keine berechtigte Vertraulichkeitserwartung. Soweit jedoch interpersonelle Kommunikation betroffen ist, so ist eine solche Erwartung der Vertraulichkeit ebenso offensichtlich wie gerechtfertigt. Daher stellt das Scannen solcher Kommunikation einen Eingriff in die Vertraulichkeit der Kommunikation dar.

Der Eingriff in die Vertraulichkeit der interpersonellen Kommunikation ist grundsätzlich unabhängig davon, wie der Aufdeckungsmechanismus technisch implementiert wird, allerdings variieren die Implementierungen in ihrer Eingriffstiefe. Insoweit sind zentrale, dezentrale oder hybride Lösungen vorstellbar:

Zentrales Scanning auf dem Server: gefährliche Fehlanreize gegen wirksame Verschlüsselung

Die Aufdeckung kann zentral auf einem Server des Diensteanbieters ablaufen. Dieser Ansatz scheidet allerdings aus, wenn die interpersonelle Kommunikation – wie dringend ratsam – Ende-zu-Ende-verschlüsselt (E2E) wird, da dem Diensteanbieter dann die übermittelten Kommunikationsinhalte nicht im Klartext vorliegen. Allerdings schließt der Entwurf nicht aus, zum Zweck des Scanning auf E2E zu verzichten. Die Verordnung droht daher erhebliche Fehlanreize für Diensteanbieter zu setzen, den Schutz der Privatsphäre ihrer Nutzer*innen generell zu schwächen, um Aufdeckungsanordnungen leichter umsetzen zu können.

Dezentrales Scanning auf dem Endgerät: ineffizient und gefährlich

Statt eines Scannings auf dem Server des Diensteanbieters lässt sich die Aufdeckung vollständig oder teilweise auf die Endgeräte der Nutzer*innen verlagern (sogenanntes Client-Side-Scanning).

So könnte das Endgerät zur Aufdeckung von bekannten Darstellungen sexualisierter Gewalt die Hashwerte von Bildern oder Videos berechnen, die über einen bestimmten Kommunikationsdienst versendet werden sollen. Diese Hashwerte könnte das Gerät mit einer von dem Diensteanbieter zugelieferten Liste der Hashwerte bekannter Darstellungen abgleichen oder dem Diensteanbieter anonymisiert zum zentralen Abgleich übermitteln.

Denkbar wäre zudem, dass auf dem Endgerät selbstlernende Algorithmen ablaufen, die neue Darstellungen sexualisierter Gewalt oder Kontaktaufnahmen zu sexuellen Zwecken zu erkennen versuchen. Allerdings erscheint uns fraglich, inwieweit diese Verfahren auf heutigen Endgeräten überhaupt technisch umsetzbar sind. Die Hardware-Anforderungen leistungsfähiger KI-Systeme dürften die Möglichkeiten vieler Smartphones übersteigen, sodass auf wenigstens teilweise serverbasierte Lösungen ausgewichen werden müsste. Hinzu kommt, dass im Falle von Apps mit Ende-zu-Ende-Verschlüsselung die Technologie zum Scannen von Inhalten in jede einzelne App eingebaut werden müsste. Das würde dazu führen, dass ähnliche Technologie mehrfach – nämlich für jede genutzte App gesondert – auf jedem einzelnen Endgerät installiert werden müsste. Dort würden insbesondere die langen Listen von Hashwerten inkriminierter Inhalte jeweils knappen Speicherplatz belegen. Außerdem würden die technischen Herausforderungen des Client-Side-Scanning wiederum erhebliche Fehlanreize gegen den Einsatz von E2E setzen. Schließlich erhöhen sie massiv die Markteintrittsbarrieren für neue Anbieter von Kommunikationsdiensten.

Vertraulichkeit der Kommunikation verletzt

Unabhängig von der Frage der zentralen oder dezentralen Implementation bewirkt eine Aufdeckungsanordnung jedoch – sofern sie sich nicht auf bestimmte Nutzer*innen oder Nutzer*innengruppen beschränkt – zwangsläufig, dass der gesamte Kommunikationsverkehr des betroffenen Dienstes auf Verdachtsmomente durchgesehen werden muss. Die Implementierung entscheidet lediglich darüber, wer diese Durchsicht durchführt. Bei einer zentralen Lösung wird der Anbieter des Dienstes als Hilfspolizist in die Pflicht genommen. Nach dem dezentralen Ansatz wird das Endgerät mit einer Spionagefunktion ausgestattet, sodass sich die Nutzer*innen gewissermaßen selbst überwachen, allerdings ohne Modalitäten und Ausmaß der Überwachung beeinflussen zu können. In allen Szenarien werden Treffer – zunächst ohne Information der Nutzer*innen – an eine zentrale Behörde gemeldet und können anschließend zu gewichtigen Eingriffsmaßnahmen führen. In den Auswirkungen für die Nutzer*innen unterscheiden sich die Ansätze daher nicht maßgeblich.

Viel diskutiert wurde bereits die Frage, ob die Aufdeckung aus technischer Sicht die Ende-zu-Ende-Verschlüsselung bricht oder unberührt lässt. Diese Frage erweist sich indes für die grundrechtliche Bewertung des Scannings auf inkriminierte Inhalte weitgehend als Scheinproblem: Zwar verbietet der Entwurf E2E nicht rundheraus, setzt aber verschiedene Anreize, damit Anbieter diese Technik nicht einsetzen. Und selbst wenn Kommunikation „unterwegs“ noch verschlüsselt werden sollte, so können die Nutzer*innen auf die Vertraulichkeit der Kommunikation nicht mehr vertrauen, denn in der Sache wird die Verschlüsselung in jedem Fall umgangen. Darüber hinaus erzeugt sogar gerade der scheinbar schonendere Weg über ein Client-Side-Scanning erhebliche Risiken für die Datensicherheit. Diese gehen über eine zentrale Lösung, bei der sich das Aufdeckungssystem vergleichsweise gut gegen unbefugte Zugriffe abschotten lässt, deutlich hinaus. Grund hierfür ist, dass nach dem dezentralen Ansatz die Analysetechnik und die Indikatoren zumindest teilweise auf die Endgeräte der Nutzer*innen übertragen werden müssen. Dort lassen sich diese sehr sensiblen Daten weitaus schlechter gegen unbefugte Zugriffe schützen als bei einer zentralen Analyse.

„Chatkontrolle“ im Kern grundrechtlich nicht zulässig

Unserer Ansicht nach lässt sich eine potenziell auf den gesamten Dienst bezogene Aufdeckungspflicht der Anbieter interpersoneller Kommunikationsdienste – also eine umfassende Kontroller aller Chatverläufe unabhängig von konkreten Verdachtsmomenten gegen die Kommunizierenden – grundrechtlich nicht rechtfertigen. Die Aufdeckung bewirkt in solchen Fällen eine Totalerfassung zumindest bestimmter Dateitypen, bei einer Anordnung zur Aufdeckung sowohl von Gewaltdarstellungen als auch von Kontaktaufnahmen potenziell der gesamten über den Dienst laufenden Kommunikation.

Am ehesten lässt sich die Aufdeckung bei interpersonellen Kommunikationsdiensten mit der suchbegriffsbasierten strategischen Telekommunikationsüberwachung vergleichen, wie sie die Nachrichtendienste vieler Mitgliedstaaten zur Auslandsaufklärung durchführen. Zwar haben sowohl der Europäische Gerichtshof für Menschenrechte als auch das Bundesverfassungsgericht solche Überwachungsprogramme unter engen Voraussetzungen gebilligt, wobei insbesondere die Maßnahmen der Dienste zur Reduktion der erfassten Daten sowie zusätzliche Hürden für die Weitergabe der Daten an operativ tätige Behörden ausschlaggebend waren. Uns erscheint jedoch schwer vorstellbar, dass sich diese permissive Haltung auf anlasslose Überwachungen zur Kriminalitätsbekämpfung übertragen lässt, bei der die Daten naturgemäß nicht ausnahmsweise, sondern systematisch und gezielt an Strafverfolgungsbehörden weitergegeben werden sollen. Das Bundesverfassungsgericht hat sogar ausdrücklich ausgeführt, dass die anlasslose strategische Überwachung auf die Auslandsaufklärung begrenzt bleiben muss. Zudem hat sich mit Blick auf die Unionsgrundrechte, an denen die Verordnung zu messen wäre, der Gerichtshof der Europäischen Union – jedenfalls bezogen auf die Sicherheitsbehörden der Vereinigten Staaten – deutlich weniger aufgeschlossen für eine Legitimation von strategischen Massendatenerfassungen gezeigt.

Denkbar: Suche nach bekannten Inhalten und verdachtsunabhängige Inhaltskontrolle ohne Meldepflicht

Allenfalls vertretbar erscheint uns eine Aufdeckungspflicht für Anbieter von interpersonellen Kommunikationsdiensten, wenn sie sich auf bereits bekannte Darstellungen sexualisierter Gewalt beschränkt. Die Existenz einer solchen Darstellung mag als konkreter Anlass angesehen werden, der eine großflächige Suche in einer Vielzahl von Kommunikationsvorgängen der jeweiligen Absender legitimieren kann. Insoweit mag sich eine Parallele zu der Suche in allen deutschen Kreditkartentransaktionen eines bestimmten Zeitraums nach Zahlungen an eine Plattform für Darstellungen sexualisierter Gewalt („Operation Mikado“) ziehen lassen, die ein – allerdings fragwürdiger – Kammerbeschluss des Bundesverfassungsgerichts gebilligt hat. Die Aufdeckung von Kontaktaufnahmen und neuen Gewaltdarstellungen in der vertraulichen Kommunikation unverdächtiger Personen beruht hingegen lediglich auf einer von konkreten Sachverhalten unabhängigen Risikoanalyse, wie sie strategische Überwachungen kennzeichnet.

Schließlich wäre die Aufdeckungspflicht möglicherweise anders zu beurteilen, wenn sie nicht mit einer Meldepflicht verbunden wäre. Das Aufdeckungssystem könnte sich stattdessen darauf beschränken, einen als Darstellung sexualisierter Gewalt oder Kontaktaufnahme erkannten Inhalt nicht zu senden und die sendende Person zu warnen, dass sie sich möglicherweise strafbar macht. Die Nutzer*innen interpersoneller Kommunikationsdienste würden damit nicht mehr dem Risiko belastender Folgemaßnahmen nach einem Treffer ausgesetzt; hierdurch reduzierte sich das Eingriffsgewicht der Aufdeckung. Das verbleibende Risiko falsch positiver Treffer ließe sich wie bereits jetzt vorgesehen durch transparenzschaffende Vorgaben und einen Beschwerdemechanismus einhegen. Gleichwohl könnten solche Warnungen einen spezialpräventiven Effekt haben, da bei den Nutzer*innen der Eindruck entstünde, sie seien ertappt worden („Big-Brother-Effekt“).

Fazit

Die Verhütung und Verfolgung sexualisierter Gewalt gegen Kinder kann als Anliegen von hohem Gewicht auch intensive Grundrechtseingriffe legitimieren. Soweit die geplante Verordnung Hosting-Anbieter in die Pflicht nimmt, lassen sich die vorgesehenen Eingriffe in grundrechtliche Kommunikationsfreiheiten grundsätzlich rechtfertigen, obwohl sie teils mit erheblichen Risiken verbunden sind. Allerdings sollte die Verordnung in einigen Punkten noch restriktiver gefasst werden.

Schon im Ansatz zu weit geht hingegen die Ermächtigung zu Aufdeckungsanordnungen bei interpersonellen Kommunikationsdiensten („Chatkontrolle“ im engeren Sinne). Sie hebelt die Vertraulichkeit der betroffenen Dienste potenziell flächendeckend und ohne konkreten Anlass aus. Auch das wichtige Anliegen des Kinderschutzes rechtfertigt es nicht, den Einsatz persönlicher Spione vorzuschreiben, um die Kommunikation großer Bevölkerungsteile fortlaufend zu untersuchen und Verdachtsmomente erst zu generieren.