Es war keine Frage des Ob, sondern des Wann und Wie: Nach punktuellen Vorstößen in die Welt der künstlichen Intelligenz innerhalb der Migrationsverwaltung widmet die Bundesregierung dieser Technologie mit dem kürzlich veröffentlichten Entwurf eines neuen KI-Migrationsverwaltungsgesetzes (KIMVG) ein eigenes Gesetz. Dahinter steht das Bestreben nach mehr „Effizienz, Einheitlichkeit, Qualität und Sicherheit“ (S. 1) der Arbeit der chronisch überlasteten Migrationsverwaltung. So real das Problem der Ressourcenknappheit auch sein mag, so wenig hilft ein Gesetz, das dem eigenen Versprechen an einen „rechtssicheren und datenschutzkonformen Rahmen“ (S. 1) nicht gerecht wird.

KI-Migrationsverwaltungsgesetz: Der Name ist Programm

Neben einer Änderung der Auffangklauseln für die Erhebung personenbezogener Daten (§ 86 AufenthG, § 7 Abs. 1 AsylG) will die Bundesregierung mit dem Entwurf gleich drei neue Befugnisse zum Einsatz automatisierter Anwendungen einführen, die jeweils mit Daten aus asyl- und aufenthaltsrechtlichen Verfahren gefüttert werden dürfen. So sollen die mit der Ausführung des AufenthG bzw. des AsylG betrauten Behörden die von ihnen zuvor erhobenen Daten zukünftig zum Entwickeln – konkret zum „Trainieren, Validieren und Testen“ – von automatisierten Anwendungen nutzen können (§ 86 Abs. 2 AufenthG n. F., § 7 Abs. 2a AsylG n. F.). Mithilfe eines automatisierten Verfahrensmonitorings sollen diese Daten zudem zur Analyse abgeschlossener asyl- und aufenthaltsrechtlicher Verfahren und der bisherigen Entscheidungspraxis weiterverarbeitet werden dürfen, um Verfahren weiterzuentwickeln, zu beschleunigen und die Entscheidungsqualität zu verbessern (§ 90d AufenthG n. F., § 7a AsylG n. F.). Schließlich soll eine Befugnis für den automatisierten Abgleich von Angaben aus dem Antrag auf Erteilung eines Aufenthaltstitels bzw. eines Asylantrags mit öffentlich zugänglichen Daten aus dem Internet eingeführt werden (§ 90e AufenthG n.F., § 7b AsylG n. F., Internetdatenabgleich). Die Verarbeitung biometrischer Daten ist lediglich für den Internetdatenabgleich ausnahmslos ausgeschlossen; im Übrigen bestehen für den Datenabgleich und das Verfahrensmonitoring Beschränkungen für Daten aus dem Kernbereich privater Lebensgestaltung. Als Schutzvorkehrungen sehen die Vorschriften etwa Löschungs-, Protokoll- und Schulungspflichten sowie die Verpflichtung der Behörden vor, keine diskriminierenden Algorithmen herauszubilden oder zu verwenden.

Hurra, Hurra, die KI ist (wieder) da

Der Gesetzentwurf ist nicht der Startpunkt des Einsatzes von KI in der deutschen Migrationsverwaltung, er folgt vielmehr auf langjährige Pilotprojekte und Einzelanwendungen. Schon seit vielen Jahren setzt das BAMF zur Klärung von Identitätsfragen eine Vielzahl intelligenter biometrischer Systeme ein. Darunter fallen zur Identifizierung und Plausibilisierung der Angaben von Geflüchteten Sprach- und Dialekterkennung, Gesichtserkennung und Fingerabdruckdatenabgleiche. Das Übersetzungstool zur Namenstranskription enthält ein Analysetool zur Verbreitung des Namens in den verschiedenen Herkunftsländern und Regionen. Eng verwandt mit dem neuen Internetdatenabgleich ist der Abgleich biometrischer Daten, insbesondere von Gesichtsbildern, mit Daten aus dem Internet (§ 15b AsylG). Aus dem Bereich der Profiling- und Analysesoftware setzt das BAMF bereits seit mindestens 2019 ein System zur Auswertung von Handydaten hinsichtlich Bewegungsmustern, Sprachverwendung und Identitätshinweisen von Geflüchteten ein (zur Kritik schon bei der gesetzlichen Einführung 2017 siehe hier; zur rechtswidrigen Anwendungspraxis bis 2023 siehe hier). Mindestens seit 2019 pilotiert das BAMF das Projekt Profilanalyse, in dem mithilfe einer intelligenten Auswertung von Anhörungsprotokollen eine Gefährdungsprognose für die antragstellenden Personen erstellt werden soll.  Schließlich führte das BAMF 2022 flächendeckend das zuvor ebenfalls als Pilotprojekt gestartete „Assistenzsystem für Anhörungen“ ein (ASA). ASA ermöglicht u. a. den Abgleich des vorgetragenen Sachverhalts mit Herkunftsleitsätzen und enthält ein Spracherkennungstool zur Niederschrift von Anhörungsprotokollen. Darüber hinaus setzt das BAMF auch einige regelbasierte Automatisierungssysteme ein. Es versteht sich schon seit knapp einem Jahrzehnt als Vorreiter in der Digitalisierung und „Smartifizierung“ der Asyl- und Migrationsverwaltung.

Vor diesem Hintergrund überraschen die nun mit dem Gesetzentwurf vorgestellten KI-Systeme nicht, sie reihen sich vielmehr ein in eine langjährige Strategie der Digitalisierung, technologischen Aufrüstung und Vernetzung des Asylverfahrens insbesondere mit Gefahrenabwehr- und Sicherheitsbehörden. Im Bereich der regulären Migration treten die neuen Systeme neben eine Vielzahl europäischer (KI-)Systeme, etwa automatisierte Anwendungen bei Ein- und Ausreise sowie Risikoprognosetools für Antragsteller von Visa und für visumsbefreite Reisende (insbesondere die Systeme EES, VIS und ETIAS, für einen Überblick siehe hier).

Der Zweck heiligt die Mittel?

Bereits kurz nach der Veröffentlichung des Referentenentwurfs hagelte es Kritik an der datenschutzrechtlichen Ausgestaltung der neuen Befugnisse (siehe zu den einzelnen Kritikpunkten nur hier und hier). Dabei geht es – neben Einzelgewährleistungen wie dem Verbot automatisierter Einzelentscheidungen (vgl. Art. 22 DSGVO) – im Kern vor allem darum, ob die Rechtsgrundlagen in ihrer konkreten Ausgestaltung verhältnismäßig sind (Art. 7, 8 i.V.m. Art. 52 Abs. 1 S. 2  GrCh, konkretisiert in Art. 6 Abs. 3 S. 4 DSGVO), was sich grundsätzlich nach der Schwere des konkreten Eingriffs richtet (zur Rechtsprechung des EuGH siehe hier, Rn. 116). Bei den Maßnahmen nach dem KIMVG wird eine große Anzahl an Daten verarbeitet, die zudem überwiegend zu den in Art. 9 Abs. 1 DSGVO genannten besonders schutzbedürftigen Kategorien – etwa biometrische Daten, aber auch solche über die Herkunft, politische oder religiöse Meinungen, Gesundheit, Sexualleben oder -orientierung – gehören. Diese Daten können dem gesamten asyl- bzw. aufenthaltsrechtlichen Verfahren entspringen und sich auch auf in den Akten oder dem Internet auffindbare unbeteiligte Personen beziehen (mit dem BVerfG: „erhebliche Streubreite“, Rn. 150). Zum anderen erfolgt die Verarbeitung durch intelligente Systeme, bei denen potentiell die Nachvollziehbarkeit ihrer Entscheidungswege nicht gesichert ist, die aber dennoch Auswirkungen auf das konkrete aufenthalts- bzw. asylrechtliche Verfahren haben können. Damit dürfte es sich bei allen Maßnahmen um hochinvasive Eingriffe handeln, die gleichermaßen hohe Anforderungen an die gesetzliche Regelungsdichte, die Bestimmtheit der einzelnen Tatbestandsmerkmale und die gesetzlich verankerten Schutzvorkehrungen nach sich ziehen.

Mit Blick auf die Bestimmtheit der Regelungen sind eine Generalklausel für hochinvasive Eingriffe – wie nach § 86 Abs. 2 n.F., § 7 Abs. 2a AsylG n. F. für die Entwicklung automatisierter Anwendungen – und allgemein offen formulierte Tatbestandsmerkmale ohne nähere Begrenzung der Zwecke, der Datenkategorien oder zur Verarbeitung berechtigten Behörden mit dem Unionsrecht schwerlich zu vereinbaren. Aber auch die vorgesehenen Schutzmaßnahmen bleiben hinter dem datenschutzrechtlich geforderten Mindeststandard zurück. Die Maßnahmen nach dem KIMVG begnügen sich etwa mit Blick auf die konkrete technische Ausgestaltung mit den Hinweisen, dass keine diskriminierenden Algorithmen herausgebildet werden bzw. kein Profiling erfolgen darf und überlassen die nähere rechtliche und technische Ausgestaltung vollständig den dazu jeweils befugten Behörden. Dagegen verpflichtet etwa der mit dem Sicherheitspaket erlassene § 15b AsylG zumindest zur näheren Konkretisierung von Art, Umfang, Dauer der Datenverarbeitung, den eingesetzten technischen Verfahren und den Sicherheitsmaßnahmen durch Rechtsverordnung.  Die Vorschrift sieht – anders als die Befugnisse des KIMVG – auch ein gesondertes Informations- und Anhörungsrecht der betroffenen Person zu den automatisiert erzeugten Ergebnissen vor. Mit solchen Instrumenten könnten die Rechtsschutzdefizite, die aus der reduzierten bis hin zur gänzlich fehlenden Nachvollziehbarkeit algorithmischer Entscheidungsprozesse und ihren Auswirkungen auf die verwaltungsbehördliche Entscheidung resultieren, zumindest teilweise aufgefangen werden.

Low Risk, High Reward? Zur Anwendbarkeit der KI-VO

Umfangreiche Absicherungen der oben genannten Art sieht die VO (EU) 2024/1689 (KI-VO) insbesondere für sog. Hochrisiko-Systeme vor (zur Erfassung bereits bestehender KI-Systeme unter die KI-VO siehe schon hier). Der Entwurf des KIMVG wirft indes Zweifel auf, ob die Bundesregierung für die beiden zentralen mit dem Entwurf etablierten Systeme des Verfahrensmonitorings und des Internetabgleichs beabsichtigt, die Vorgaben der KI-VO einzuhalten. Der Gesetzeswortlaut lässt aber für beide Systeme den gut begründeten Schluss zu, dass es sich um Hochrisiko-Systeme handeln wird.

So trivial wie die Gesetzesbegründung die Frage der Unionsrechtskonformität behandelt („Der Gesetzentwurf ist mit dem Recht der Europäischen Union und völkerrechtlichen Verträgen vereinbar“, S. 11), ist sie allerdings nicht. Denn grundsätzlich fallen beide Systeme wegen ihres Einsatzes im Bereich des Migrations- und Asylmanagements unter die Definition der Hochrisiko-Technologie im Sinne des Art. 6 Abs. 2 i. V. m. Anhang III Nr. 7 lit. c KI-VO. Als Folge einer solchen Klassifizierung sieht die KI-VO umfangreiche Pflichten u. a. an die Softwareentwicklung, an die Qualität und den Umgang mit den betroffenen Daten, zur menschlichen Aufsicht, zum Qualitätsmanagement und zur Erstellung von Grundrechtsfolgenabschätzungen sowie Transparenzpflichten vor.

Freilich müssen diese Vorgaben nicht erneut im AsylG bzw. im AufenthG wiederholt werden; die KI-VO gilt bei Vorliegen entsprechender Technologie unmittelbar. Der Gesetzentwurf liefert aber Hinweise darauf, dass die Bundesregierung die Vorgaben der KI-VO speziell zu Hochrisiko-Systemen und – im Fall des Internetabgleichs – sogar der KI-VO generell möglicherweise nicht umsetzen wird. Für das Verfahrensmonitoring beruft sich die Gesetzesbegründung zwar etwas versteckt, aber doch ausdrücklich auf eine Ausnahme zur oben genannten Einordnung als Hochrisiko-KI, die nach Art. 6 Abs. 3 UAbs. 1 lit. c KI-VO greift, wenn ein System dazu bestimmt ist, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und gerade nicht die zuvor durchgeführte menschliche Bewertung ohne angemessene menschliche Überprüfung ersetzen oder beeinflussen soll. Eine Beeinflussung der menschlichen Entscheidung ist dem Normtext nach kaum auszuschließen. Das Verfahrensmonitoring ist gerade dazu da, auf die Entscheidungspraxis Einfluss zu nehmen. Schließlich sieht es auch keine angemessene menschliche Überprüfung vor, hierzu sogleich.

Hinsichtlich des Internetabgleichs hüllt sich die Gesetzesbegründung zur Anwendbarkeit der KI-VO in Schweigen. Anders als beim Verfahrensmonitoring nimmt die Gesetzesbegründung auf keine Norm der KI-VO ausdrücklich Bezug. Der Wortlaut des neuen § 7b AsylG und § 90d AufenthG erlaubt einfache Suchmaschinen bis hin zu komplexen Aus- und Bewertungssystemen à la Palantir – legt der Gesetzeswortlaut doch lediglich fest, dass der Internetabgleich „mittels einer automatisierten Anwendung zur Datenverarbeitung“ erfolgen soll. Der Gesetzesbegründung nach soll es sich hingegen nur um einen „methodisch einfachen Datenabgleich“ handeln (S. 21), wobei unklar bleibt, was damit genau gemeint ist. Wenn im Internetdatenabgleich tatsächlich keine KI-Elemente enthalten sein sollen, hätten aber sowohl der Normtext selbst als auch die Begründung eindeutiger formuliert sein können. Näher liegt hier der Schluss, dass der Gesetzestext möglichst weit gefasst werden sollte, um sich in der Technologiegestaltung Spielräume offen zu halten, die Begründung aber später als Anknüpfungspunkt dienen soll, um Fragen nach Verfahrensabsicherungen (etwa nach solchen der KI-VO) abzuwehren. Es bleibt deshalb abzuwarten, ob die Vorgaben der KI-VO bei der Entwicklung und Anwendung des Verfahrensmonitorings und des Internetdatenabgleichs Beachtung finden werden.

KI diskriminiert nicht weniger, weil man Diskriminierung verbietet

Neben grundsätzlichen Bedenken hinsichtlich rechtsstaatlichen Gewährleistungen und Verfahrensabsicherungen für effektiven Rechtsschutz weist der Entwurf insbesondere mit Blick auf den Schutz vor Diskriminierung erhebliche Leerstellen auf. Dass KI-Systeme Diskriminierungsrisiken bergen, ist bekannt. Für alle drei Systeme ordnet der Gesetzentwurf auch an, dass diskriminierende Algorithmen nicht verwendet oder herausgebildet werden dürfen. Was auf den ersten Blick wie eine plausible Vorgabe erscheint, erweist sich bei näherer Betrachtung als eine Leerhülse. Ein Verbot jeglicher Differenzierungen ist technologisch nicht möglich und rechtlich wohl kaum gemeint. Das Verbot von Diskriminierungen im rechtlichen Sinne – also von ungerechtfertigten Ungleichbehandlungen – hingegen ist lediglich eine Wiederholung von grundrechtlichen Diskriminierungsverboten, die ohnehin gelten (Art. 3 Abs. 3 GG, Art. 21 GrCh), und trägt zum tatsächlichen Schutz vor Diskriminierung durch die Systeme nichts bei. Denn nähere Vorgaben zu dem gesetzlichen Rahmen von gerechtfertigten Ungleichbehandlungen macht der Entwurf nicht.

Darüber hinaus enthält der Entwurf kaum Absicherungsmechanismen oder konkrete Vorgaben für die Entwicklung und Anwendung der KI-Systeme. Die Gründe für Diskriminierungsrisiken durch KI-Systeme sind vielfältig und liegen sowohl in der Modellgestaltung selbst als auch in der Qualität, Auswahl, Aufbereitung und dem Umgang mit Trainings- und Eingabedaten sowie in menschlichen Anwendungsfehlern. All diese Bereiche müsste ein Gesetzentwurf, der sich dem Schutz vor Diskriminierung durch KI-Systeme tatsächlich verschreibt, angesichts der hohen Eingriffsintensität (s. o.) aber adressieren.

Das KIMVG beschränkt sich auf wenige Vorgaben zur Anwendungsseite. Der Vorbehalt einer menschlichen Letztentscheidung allein sowie (rudimentäre) Schulungspflichten sind aber regelmäßig angesichts einer Vielzahl psychologischer Verzerrungseffekte kein effektives Mittel, um diskriminierende Ergebnisse zu korrigieren. Zu nennen sind hier etwa der Automation Bias (das übersteigerte Vertrauen in die Richtigkeit und Neutralität computergestützter Entscheidungen), die Verwechslung von Korrelation und Kausalität sowie der Confirmation Bias (bestätigt ein Ergebnis die eigene Ansicht, wird dieses weniger kritisch hinterfragt). Vorgaben zur Modellgestaltung oder zu der Qualität, Auswahl und Aufbereitung der Trainings- und Eingabedaten macht das KIMVG schließlich überhaupt keine. Die KI-VO ist für Hochrisiko-Systeme ein Stück weiter, deren Vorgaben hält die Bundesregierung aber wohl – unrichtigerweise – nicht für anwendbar (s. o.). Insgesamt verspricht der Gesetzentwurf deshalb textlich eine Diskriminierungsfreiheit der Systeme, ohne diese mit angemessenen Sicherungsmechanismen zu flankieren, geschweige denn Parameter für zulässige Ungleichbehandlungen festzulegen. Ein Verstoß gegen höherrangiges Recht liegt deshalb nahe.

Fazit

Ungeachtet der mit ihr verfolgten Ziele bedarf die Einführung komplexer Technologien wie KI insbesondere dort, wo sie bereits bestehende strukturelle Diskriminierungen verstärken kann, einer besonders sorgfältigen Prüfung ihrer rechtlichen Grundlagen. Die Bundesregierung scheint hier allerdings sowohl mit Blick auf die unionsrechtlichen Anforderungen als auch die Qualität ihrer Begründung ein Auge zuzudrücken. Rechtsstaatlich geboten wäre aber, die Kritikpunkte im weiteren Gesetzgebungsverfahren aufzugreifen und die Regelungen entsprechend nachzuschärfen.