KI im Einsatz für die Sicherheit

Knapp sechs Jahre liegen zwischen der Mitteilung „Künstliche Intelligenz für Europa“ der EU-Kommission aus dem Jahre 2018 und dem Inkrafttreten der KI-Verordnung als „weltweit erster Regulierung künstlicher Intelligenz“ zum 01.08.2024. Auch in den letzten Zügen des Trilogs zwischen Rat, Parlament und Kommission konnte in den stritten Fragen erst in einem dreitägigen Verhandlungsmarathon politische Einigkeit erzielt werden. Als Ergebnis dieser zähen Verhandlungen setzt die Verordnung auch einen Rechtsrahmen für den Einsatz künstlicher Intelligenz durch die Sicherheitsbehörden und wirft erneut die Frage auf, ob und inwieweit unionsrechtliche Sachregelungen in den Bereichen Binnenmarkt und Datenschutz auch sicherheitspolitische Ziele verfolgen und sicherheitsrechtliche Detailregelungen treffen dürfen. Diese zunehmende (und bereichsspezifisch durchaus weitreichende) Europäisierung des Polizeireichts bleibt zwar weiterhin hochumstritten; ein Kompetenzverstoß der Union ist allerdings mit Blick auf die Binnenmarktregulierung, den Datenschutz und die stetig komplexer werdenden Kooperationsbeziehungen in der Europäischen Sicherheitsunion im Ergebnis zu verneinen.

Die Rahmenbedingungen für den sicherheitsbehördlichen KI-Einsatz

Die Verordnung basiert auf drei regulatorischen Anliegen: Erstens verfolgt sie einen horizontal übergreifenden Ansatz und bezieht sich nicht auf spezifische Sektoren, in denen KI-Systeme eingesetzt werden. Sie ist zweitens technologieneutral, orientiert sich also nicht an den technischen Ausprägungen heute bekannter KI-Systeme, sondern an potenziellen Einsatzbereichen und Anwendungsmöglichkeiten, was auch der weit gefasste KI-Begriff zum Ausdruck bringt (Art. 3 Nr. 1 KI-VO). Den von KI-Systemen ausgehenden Gefahren begegnet die Verordnung drittens mithilfe von vier Risikostufen, die von KI-Systemen ohne oder mit minimalen Risiken über beschränkt zulässige Hochrisiko-Systeme bis hin zu grundsätzlich verbotenen hoch-riskanten KI-Praktiken reichen. Zu letzteren gehören insbesondere Systeme der biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen, die gleichwohl in bestimmten von der Verordnung determinierten Fällen im Rahmen der Sicherheitsgewährleistung zur Anwendung kommen können. Während für KI-Systeme mit begrenzten Risiken (z.B. Chatbots) lediglich Transparenzpflichten gelten, unterliegen Hochrisiko-Systeme (z.B. Risikobewertungssysteme in der Strafverfolgung) umfangreichen Dokumentations-, Informations- und Aufsichtspflichten.

Die genaue Reichweite der Geltung der Verordnung für den sicherheitsbehördlichen KI-Einsatz lässt sich nicht allein anhand des Verordnungstextes eindeutig bestimmen. Aus dem risikobasierten, aber technologieneutralen Ansatz folgt, dass die einzelnen KI-Systeme funktional nach ihren bestimmungsgemäßen Verwendungszwecken beurteilt und eingestuft werden müssen. Ausgerechnet zu den sogenannten Hochrisiko-KI-Systemen verweist Art. 6 Abs. 2 KI-VO lediglich auf Anhang III, der in Nr. 6 den sicherheitsbehördlichen KI-Einsatz in den Blick nimmt: Hier werden u.a. KI-Systeme zur Risikobewertung, als Lügendetektor, zur Erstellung von Personenprofilen oder zur Bewertung von Beweismitteln als Hochrisikosysteme qualifiziert.

Die teils offenen Verwendungsbeschreibungen und die zunehmende Komplexität der Analyse großer Datenmengen sprechen dafür, sicherheitsbehördliche KI-Systeme sowohl im Bereich der prognostischen Gefahrenabwehr als auch im Rahmen der ermittlungs- und beweisbezogenen Strafverfolgung regelhaft (und auch im Zweifel) als Hochrisikosysteme zu behandeln. Ausdrücklich gilt das nach Art. 6 Abs. 3 UAbs. 3 KI-VO für jede Form des Profilings natürlicher Personen. Art. 6 Abs. UAbs. 2 Ki-VO scheint aber Ausnahmen zuzulassen für Systeme zur Durchführung „eng gefasster Verfahrensaufgabe[n]“ und für Systeme, denen nur (und wohl auch ausschließlich) eine vorbereitende Aufgabe für eine Bewertung im Sinne von Anhang III zukommt. Die Verordnung vermutet in diesen Fällen das Fehlen eines wesentlichen Einflusses auf das Ergebnis der Entscheidungsfindung und schließt damit schon das Risiko einer erheblichen Grundrechtsbeeinträchtigung aus. Funktionalität wie auch Grundrechtssensibilität komplexer KI-Systeme sprechen demgegenüber für einen sehr begrenzten Anwendungsbereich dieser ohnehin eng auszulegenden Ausnahmebestimmung. Es ist schwer vorstellbar, dass KI-fähige Anwendungen zur automatisierten Datenanalyse wie z.B. hessenDATA, sofern mit ihrer Hilfe (schon aufgrund nationaler Grundrechtsanforderungen ausschließlich vorbereitende) Such- und Musterabfragen vorgenommen werden, als Systeme mit minimalen Risiken unterhalb der Schwelle der Hochrisiko-KI gelten könnten. Für diese hält die Verordnung lediglich Rahmenregelungen für Anbieter und Betreiber bereit. Jedenfalls jeder gezielte relevante Personenbezug dürfte auch jenseits der Gegenausnahme für das Profiling die Einordnung als Hochrisikosystem rechtfertigen; ähnliches lässt sich auch aus den Kriterien ableiten, von denen Art. 7 Abs. 2 KI-VO eine Änderung von Anhang III durch die Kommission abhängig macht (im Ergebnis ähnlich Kugelmann/Buchmann, Beitrag erscheint in dieser Reihe). In jedem Fall stehen die nationalen Sicherheitsbehörden vor der Aufgabe, eine Bestandsaufnahme über ihre eingesetzten KI-Systeme und deren Einordnung in die genannten Risikostufen vorzunehmen.

Für einzelne KI-Systeme im Bereich der Sicherheitsgewährleistung trifft die Verordnung demgegenüber auch ausdrückliche, kleinteiligere Regelungen. Dies gilt vor allem für die hoch umstrittene Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, deren grundsätzliches Verbot in einer Reihe von Ausnahmen im Verbotstatbestand des Art. 5 Abs. 1 h) KI-VO selbst relativiert (Hahn, Beitrag erscheint in dieser Reihe ) und durch verschiedene Schutzmechanismen in Art. 5 Abs. 2 und 3 KI-VO flankiert wird. Hier soll offensichtlich das erhebliche öffentliche Interesse an der Verwendung von KI mit den Rechten und Freiheiten der betroffenen Personen abgewogen werden (ErwGr. 33). Dies folgt den Vorgaben von Art. 7 und 8 der Grundrechtecharta und damit nicht zuletzt der Rechtsprechung des EuGH.

Der EU-Gesetzgeber und das mitgliedsstaatliche Sicherheitsrecht

Bereits nach Bekanntwerden des Kommissionsvorschlags im Jahre 2021 hat Kristin Pfeffer an dieser Stelle die Frage aufgeworfen, ob und inwieweit das Datenschutzrecht zu einem „Kompetenzsog“ und zu einer schleichenden Europäisierung des Polizei- und Strafverfahrensrechts als „Kern mitgliedsstaatlicher Souveränität“ führt – eine Frage, die bereits bei Erlass der JI-Richtlinie intensiv diskutiert wurde und im Fall der KI-Verordnung wieder virulent geworden ist.

Das Verhältnis der sicherheitsrechtlichen Auswirkungen unionsrechtlicher Binnenmarktregulierung zum Souveränitätsvorbehalt der Mitgliedstaaten im Bereich der nationalen Sicherheit in Art. 4 Abs. 2 EUV ist nach wie vor nicht abschließend geklärt. Die KI-Verordnung stellt wie auch schon die JI-RL mit einem Verweis auf Art. 4 Abs. 2 S. 3 EUV und die alleinige Verantwortung der Mitgliedsstaaten klar, dass die Bereiche der nationalen Sicherheit und der Verteidigung aus der Anwendung der Verordnung ausgenommen sind (Art. 2 Abs. 3 KI-VO und ErwGr. 24). Weniger eindeutig ist das Verhältnis zur allgemeinen Gefahrenabwehr und Strafverfolgung in den Mitgliedstaaten. Von einer Ausklammerung ist die Verordnung mit ihren ausdrücklich die Sicherheitsbehörden adressierenden Bestimmungen weit entfernt und enthält darüber hinaus auch Regelungsaufträge an die nationalen Parlamente für die Verwendung von KI-Systemen durch die Sicherheitsbehörden.

Die KI-Verordnung nimmt keinen Bezug auf bestehende Kompetenzen im Bereich des Sicherheitsrechts, die etwa in Titel V AEUV normiert sind. Stattdessen stützt der EU-Gesetzgeber die KI-VO auf seine Binnenmarktkompetenz (Art. 114 Abs. 1 AEUV) und auf die Kompetenz für den Datenschutz in Art. 16 Abs. 2 AEUV. Jedenfalls mit Blick auf private Entwickler, Anbieter und Betreiber von KI-Systemen leuchtet es ein, dass ein einheitlicher KI-Rechtsrahmen dazu beitragen kann, die Einführung vertrauenswürdiger KI zu fördern und eine Fragmentierung des Binnenmarkts und damit verbundene Rechtsunsicherheiten zu verhindern (ErwGr. 1).

Mit Blick auf die Verwendung von KI-Systemen zu Strafverfolgungszwecken verweist die Verordnung in Bezug auf KI-Systeme zur biometrischen Fernidentifizierung und Kategorisierung sowie zur Risikobewertung natürlicher Personen ausdrücklich auf die Regelungskompetenz für den Datenschutz in Art. 16 Abs. 2 AEUV (ErwGr. 3). Jenseits dieser in Art. 5 Abs. 2 KI-VO grundsätzlich verbotenen KI-Systeme dürfte Art. 16 Abs. 2 AEUV auch für weitere Anwendungsfelder im Bereich der Sicherheitsgewährleistung ergänzend zur Binnenmarktkompetenz heranzuziehen sein, wenn – wie etwa für die Verwendung eines KI-gestützten Lügendetektors durch die Strafverfolgungsbehörden nach Art. 6 Abs. 2 KI-VO i.V.m. Anlage III Nr. 6 b) – der konkrete Binnenmarktbezug schwer nachzuvollziehen ist.

Trotz zahlreicher rechtlich und politisch umstrittener Einzelfragen kann dem EU-Gesetzgeber ein Kompetenzverstoß im Ergebnis nicht vorgeworfen werden. Zwar besitzt die EU unzweifelhaft nicht die Kompetenz für eine Vereinheitlichung des nationalen Polizei- und Sicherheitsrechts. Das ist Konsequenz des Grundsatzes der begrenzten Einzelermächtigung und wird in Art. 72 und 276 AEUV deklaratorisch bestätigt. Die Regelung einzelner Fragen der Sicherheitsgewährleistung auf der Grundlage spezifischer Kompetenztitel wird hierdurch allerdings nicht gesperrt. Dies gilt nicht allein für den Bereich der grenzüberschreitenden polizeilichen Zusammenarbeit nach Art. 87 ff. AEUV, sondern insbesondere auch im Zusammenhang übergreifender Kompetenzzuweisungen.

Der EuGH hat sich offen dafür gezeigt, die Binnenmarktkompetenz nach Art. 114 AEUV heranzuziehen, und hat auf den auch in Art. 3 Abs. 2 EUV deutlich werdenden Zusammenhang zwischen der Gewährleistung des Binnenmarkts und der inneren Sicherheit hingewiesen: Hiernach fördert die Union einen Raum der Freiheit, der Sicherheit und des Rechts ohne Binnengrenzen gerade durch geeignete Maßnahmen zur Verhütung und Bekämpfung von Kriminalität. Die Binnenmarktkompetenz soll vor allem dann einschlägig und auch ausreichend sein, wenn Privaten Einfluss auf sicherheitsrelevante Bereiche zukommt.

Ebenso erlaubt Art. 16 Abs. 2 AEUV den Zugriff auf einzelne sicherheitsbezogene Gegenstände und setzt dafür entweder zumindest einen potenziellen Binnenmarktbezug oder eine Tätigkeit im Anwendungsbereich des EU-Rechts voraus. Die KI-Verordnung knüpft explizit an die Entwicklung, Einführung und den Betrieb von KI-Systemen an, was jedenfalls für marktgängige KI-Systeme einen klaren Binnenmarktbezug begründet (ErwGr. 1). Zugleich fällt seit dem Erlass der JI-Richtlinie auch die polizeiliche Datenverarbeitung insgesamt in den Anwendungsbereich des EU-Rechts, um ein einheitliches Datenschutzniveau zu gewährleisten. Eine übergreifende Regulierung des Einsatzes von KI-Systemen folgt diesem Regelungsansatz konsequent.

Sofern in Bezug auf rein innerstaatliche Sachverhalte die Berufung auf Art. 16 Abs. 2 AEUV bereits für die JI-Richtlinie umstritten ist, lässt sich die Diskussion auf die KI-VO übertragen. Teilweise wird davon ausgegangen, dass sich Art. 16 Abs. 2 AEUV in den Kompetenzrahmen über justizielle und polizeiliche Zusammenarbeit (Art. 82 ff. AEUV) einfügt, aber deshalb nur grenzüberschreitende und keine innerstaatlichen Datenverarbeitungen erfasst. Nicht nur die Kommission erachtet demgegenüber eine umfassende Harmonisierung zur Verwirklichung des Datenschutzes für geboten. Für die JI-RL wird vermittelnd vertreten, dass auf der Grundlage von Art. 16 Abs. 2 AEUV zwar keine umfassende Harmonisierung möglich sei, zumindest aber Mindeststandards für die polizeiliche Zusammenarbeit gesetzt werden könnten. Übertragen auf die KI-VO sind die Bestimmungen zu verbotenen und auch zu Hochrisiko-KI-Systemen mit ihren Regelungen zu Fallgruppen, Eingriffsschwellen und Verfahrensregelungen nur als Mindestanforderungen für die gleichwohl erforderlichen nationalen Eingriffsermächtigungen zu verstehen. Dies gilt ungeachtet der Tatsache, dass gerade Eingriffsschwellen den Kern nationaler polizeirechtlicher Befugnisse ausmachen.

Der AEUV geht zudem davon aus, dass bei der Bekämpfung bestimmter schwerwiegender Straftaten, wie sie etwa in Art. 83 Abs. 1 AEUV genannt werden, ein grenzüberschreitender Bezug besteht, und stellt Regelungen für die Zusammenarbeit der Sicherheitsbehörden über die Anerkennung europäischer Haftbefehle, im Rahmen der Europäischen Staatsanwaltschaft und im Bereich des Informationsaustauschs über Europol und andere Informationssysteme bereit. Dass die KI-Verordnung hieran anknüpft, zeigt sich in den Verweisen auf den Straftatenkatalog in Anhang II und auf die Informationsverwaltung der unionalen IT-Großsysteme im Raum der Freiheit, der Sicherheit und des Rechts in Anhang X.

Die Kompetenzfrage kann schließlich auch in rein nationalen Fallkonstellationen nicht losgelöst von der Frage der Einhaltung grundrechtlicher Standards gedacht werden. In Konsequenz der Entscheidung zur telekommunikationsrechtlichen Regulierung der Vorratsdatenspeicherung ist zu erwarten, dass auch der EuGH, ähnlich wie das Bundesverfassungsgericht (BKAG I und BKAG II), für den Einsatz von KI-Systemen auch und gerade im Bereich der Sicherheitsgewährleistung unionale Mindestanforderungen formulieren wird. Eine zentrale Frage wird dabei sein, ob die Vorgaben der KI-VO für Hochrisiko-Systeme den Standards der EU-Grundrechtecharta überhaupt genügen können.

Hinzu kommt nicht zuletzt aus praktischer Sicht, dass gerade für den Einsatz von KI-Systemen fraglich ist, ob und inwieweit eine Differenzierung nach unionsregulierten und rein nationalen Daten und Sachverhalten technisch überhaupt möglich ist.

Nationale Spielräume und offene Fragen

Wie bereits mit seiner Subsidiaritätsrüge zur JI-Richtlinie hatte sich auch der Bundesrat in einer Stellungnahme zum KI-Verordnungsentwurf äußerst kritisch gezeigt und sich mit Verweis auf die „äußerst begrenzte Gesetzgebungskompetenz“ der EU dafür ausgesprochen, von der Regulierung des KI-Einsatzes durch Sicherheitsbehörden gänzlich abzusehen. Das dürfte in der Sache deutlich zu weit gehen, bleibt aber hinsichtlich der strittigen rein innerstaatlichen Sachverhalte auch politisch relevant.

Rechtlich dürfte der Bundesrat auch dieses Mal nicht durchdringen können. Denn es ist kaum zu begründen, dass gerade beim Einsatz von KI-Systemen eine Fragmentierung der Regelungsstandards durch das Subsidiaritätsprinzip geboten wäre. Dass umgekehrt die KI-Verordnung den Mitgliedstaaten Spielräume für eigene Regelungen belässt, zeigt sich in Regelungsoptionen zur Anhebung der Schutzstandards wie Art. 5 Abs. 5 KI-VO, der sowohl weitere Anwendungsfälle biometrischer Echtzeit-Fernidentifizierungssysteme als auch strengere nationale Regeln zulässt. Die Verordnung betont weiter, dass es Sache der Mitgliedstaaten ist, die erforderlichen Ermächtigungsgrundlagen für den Einsatz von KI zu schaffen. Inwieweit die Mitgliedsstaaten von dieser Möglichkeit Gebrauch machen werden, bleibt abzuwarten. Im derzeit breit diskutierten Sicherheitspaket der Bundesregierung ist die Echtzeit-Fernidentifizierung jedenfalls nicht enthalten.

Insgesamt wird der Trend einer Europäisierung des Polizeirechts durch die KI-Verordnung weiter vorangetrieben. Angesichts grenzüberschreitender Kriminalität und des Bedürfnisses nach gemeinsamen rechtlichen Mindeststandards im Raum der Freiheit, der Sicherheit und des Rechts ist dies ein verständliches Anliegen. Zwangsläufig werden dabei aber auch Diskussionen über den Kompetenzrahmen der EU-Verträge und die Frage nach der demokratischen Legitimation weitreichender Rechtsakte wie der KI-Verordnung fortgesetzt werden müssen.