Ein neues Gesetz für gestern

Dass Bewerberinnen oft schlechter bewertet werden als männliche Mitbewerber, ist nichts Neues. Doch inzwischen treffen nicht mehr nur Personalverantwortliche diese Entscheidung, sondern algorithmische Systeme. So sperrte etwa ein Lieferdienst einem Schwarzen Fahrer den Zugang zu seinem Arbeitsaccount, weil die biometrische Identitätsprüfung ihn nicht erkannt hat – denn marginalisierte Gruppen sind in Datensätzen unterrepräsentiert, sodass die Gesichtserkennungssoftware höhere Fehlerraten aufweist. Auch im Gesundheitskontext treffen algorithmische Systeme folgenreiche Entscheidungen. So werden Herzinfarkte bei Frauen unter anderem deswegen häufiger nicht erkannt, weil es in der medizinischen Forschung an Daten zu Frauen fehlt (sog. Gender Data Gap), sodass Diagnosesysteme vornehmlich mit männlichen Symptomen trainiert und weibliche Symptome damit von den Diagnosesystemen häufiger übersehen werden. Solche Fälle beruhen auf sog. algorithmischer Diskriminierung – doch diese wird im aktuellen Reformentwurf des Allgemeinen Gleichbehandlungsgesetzes (AGG) nicht berücksichtigt.

Algorithmische Diskriminierung als Leerstelle im AGG

Seit Juni 2026 berät der Bundestag über die Änderung des AGG. Ziel ist es, in Deutschland die Rechte von Personen zu stärken, die von Diskriminierungen betroffen sind (so die Bundesregierung). Insofern erstaunt es, dass der aktuelle Gesetzentwurf eine wesentliche Entwicklung übergeht, die nach zwanzig Jahren AGG auf der Hand liegt: die KI-Transformation. Diese Lücke kritisierte im Oktober 2026 auch der Sachverständige Alexander Tischbirek. Er führte aus, dass das Szenario diskriminierender KI illustriere, „wie sich die einzelnen Defizite des Entwurfs im konkreten Fall wechselseitig verstärken“ könnten.

Dass Entscheidungen, die algorithmengesteuerte Systeme – insbesondere KI¹⁾ – treffen, diskriminieren können, ist inzwischen vielfach empirisch belegt. Algorithmische Diskriminierung ist darauf zurückzuführen, dass die Systeme – anders als es den Anschein hat – keine neutralen Werkzeuge sind. Sie lernen vielmehr aus Daten, die bestehende gesellschaftliche Ungleichheiten widerspiegeln. Zudem werden sie überwiegend in einem Umfeld entwickelt, in dem Frauen und andere marginalisierte Gruppen deutlich unterrepräsentiert sind. Dies erhöht das Risiko, dass Diskriminierungspotenziale übersehen werden. Algorithmische Systeme reproduzieren diese Ungleichheiten nicht nur, sondern skalieren sie auch: So treffen sie in zahlreichen (grundrechtssensiblen) Anwendungsbereichen diskriminierende Entscheidungen, etwa beim Recruiting, bei der Kreditwürdigkeitsprüfung, in der Medizin oder im öffentlichen Sektor, insbesondere im Justizvollzug. Algorithmische Systeme benachteiligen Beschäftigte zudem bei der Zuteilung von Arbeit und der Bewertung ihrer Leistung (sog. algorithmisches Management), Verbraucher:innen bei der Bepreisung von Produkten und geben Nutzer:innen vor, was sie in sozialen Netzwerken sehen (wie z.B. Jobanzeigen).

Die Nichtberücksichtigung von algorithmischer Diskriminierung im Rahmen der AGG-Reform ist auch deshalb bemerkenswert, weil es sich um ein dem Bundestag wohlbekanntes Phänomen handelt: So kündigten CDU/CSU und SPD bereits im Koalitionsvertrag der 19. Legislaturperiode an, algorithmenbasierte Entscheidungen für Verbraucher:innen überprüfbar zu machen (S. 135), und wiederholten dies (sinngemäß) im aktuellen Koalitionsvertrag (S. 69). Daneben hat das Bundesministerium für Familie, Senioren, Frauen und Jugend algorithmische Diskriminierung an zahlreichen Stellen in seinem Dritten Gleichstellungsbericht aufgegriffen, und auch die Antidiskriminierungsstelle benennt die fehlenden Regelungen ausdrücklich und umfassend als Defizit.

Die verfassungsrechtlichen Vorgaben

Diese Leerstelle tangiert die Gleichheitssätze aus Art. 3 Abs. 2 und 3 GG. Diese Grundrechte verpflichten den Staat in zweierlei Hinsicht: Zum einen darf der Staat nicht selbst diskriminierende KI einsetzen oder solche unkritisch übernehmen (Abwehrfunktion der Grundrechte). Zum anderen ist er auch in der Pflicht, einen Regelungsrahmen zu schaffen, der solche Benachteiligungen erkennbar und angreifbar macht und insbesondere eine effektive Rechtsdurchsetzung gewährleistet (Schutzfunktion der Grundrechte, vgl. Sachs/Nußberger/Hey, 10. Aufl. 2024, GG Art. 3 Rn. 65 ff., 233 ff.). Grundrechtsträger:innen haben somit ein Recht darauf, dass der Staat sie auch gegenüber Grundrechtsbeeinträchtigungen durch Private – in Form von ungerechtfertigten Benachteiligungen – schützt. Diesen Schutz soll das AGG verwirklichen. Doch wenn der Gesetzgeber bei der AGG-Reform gerade durch neue Technologien typische Benachteiligungen außer Acht lässt, wird er seiner Schutzpflicht nicht gerecht.

Algorithmische Diskriminierung

Um das Phänomen algorithmischer Diskriminierung dem AGG zuordnen zu können, muss man es zunächst verstehen. Kurz gesagt entsteht algorithmische Diskriminierung durch das Zusammenwirken technischer und gesellschaftlicher Ursachen. Maßgeblich ist insbesondere, dass die algorithmischen und KI-Systeme auf Trainingsdaten beruhen, die entweder historische Ungleichheiten abbilden oder nicht repräsentativ sind und damit z.B. die Gender Data Gap beinhalten. Lernen Algorithmen auf dieser (fehlerhaften) Datengrundlage, so verfestigen sie die gelernten Muster und vervielfachen sie in Form von Outputs (sog. Garbage-in-Garbage-out-Prinzip). Gewichtet ein Recruiting-System etwa Bewertungskriterien wie „Teilzeit“ negativ, weil es die potenziell „arbeitsbereitesten“ Mitarbeitenden auswählen soll, erscheint dies zunächst plausibel. Zugleich werden damit jedoch strukturelle Ungleichheiten fortgeschrieben, da oftmals Personen in Teilzeit arbeiten, die Care- und Pflegearbeit leisten oder in Alleinerziehenden-Konstellationen leben (vgl. Legner, RDi 2024, 426, 429). Zudem bleibt oft unentdeckt, dass Datensätze in der Aufbereitung verzerrt werden und die Systeme während des Trainings diskriminierend entscheiden. Das hat mit dem sog. Black-Box-Charakter von KI-Systemen zu tun: Viele KI-Systeme beruhen auf sog. Deep-Learning-Methoden und neuronalen Netzen (siehe u.a. Martini, Blackbox Algorithmus, S. 23, Plaue, Data Science, 19-2 (2021)). Damit lässt sich kaum nachvollziehen, wie die KI die Wahrscheinlichkeiten berechnet, die uns Menschen als Output – in Form von Entscheidungen – trifft, z.B. „sollte zum Auswahlgespräch eingeladen werden“ bzw. „sollte nicht zum Auswahlgespräch eingeladen werden“ (s. Hoffmann-Riem, AöR 2017, 1 (29)). Verstärkt werden die Ursachen durch die weitgehend homogene Tech-Branche, die Benachteiligungen für marginalisierte Gruppen schlicht übersieht (sog. Privilege Hazard, D’Ignazio/Klein, Data Feminism).

Die Logik des AGG

Das AGG verhindert Benachteiligungen wegen der Rasse oder der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität (§ 1 AGG). Unmittelbare algorithmische Diskriminierung liegt vor, wenn eine Person wegen eines geschützten Merkmals eine weniger günstige Behandlung erfährt (§ 3 Abs. 1 AGG). Dies ist z.B. der Fall, wenn das Merkmal „Geschlecht“ unmittelbar als Entscheidungsvariable dient und das System systematisch Bewerbungen von Frauen ablehnt. Mittelbare algorithmische Diskriminierung liegt vor, wenn scheinbar neutrale Faktoren (sog. Proxys) verwendet werden, aus denen das System Rückschlüsse auf geschützte Merkmale zieht (vgl. § 3 Abs. 2 AGG) – etwa wenn es erlernt, dass die „Elternzeit“ statistisch mit dem Geschlecht zusammenhängt und eine Kreditvergabe deshalb ablehnt. Allerdings verschwimmen die Grenzen zwischen unmittelbarer und mittelbarer Diskriminierung, da die diskriminierende Ursache aufgrund der Datenmenge und der Intransparenz des Entscheidungsvorgangs oft nicht nachvollziehbar ist (vgl. Spiecker gen. Döhrmann/Towfigh, Automatisch benachteiligt, 2023, S. 19 f.).

Lücken bestehen in doppelter Hinsicht: Einerseits erfasst das AGG intersektionale Diskriminierung, also Benachteiligungen, die erst aus dem Zusammenwirken mehrerer geschützter Merkmale entstehen, nur unzureichend. § 4 AGG regelt Mehrfachbenachteiligungen lediglich für die Rechtfertigung. Gerade algorithmische Systeme benachteiligen aber häufig an solchen Schnittstellen, wie das Beispiel kommerzieller Gesichtserkennungssysteme bei Schwarzen Frauen zeigt: Diese werden deutlich schlechter als weiße Männer erkannt. Andererseits erfassen die in § 1 AGG aufgeführten Merkmale gerade keine Benachteiligungen, die sich aus einer Kombination vermeintlich neutraler Kategorien ergeben, aber keinem geschützten Merkmal eindeutig zuzuordnen sind. Soll ein algorithmisches System z.B. über die Kreditwürdigkeit von Personen entscheiden, bildet es Gruppen („kreditwürdig“, „nicht kreditwürdig“), die nicht (nur) auf dem „Geschlecht“ oder der „ethnischen Herkunft“ beruhen, sondern auf Faktoren wie etwa dem Endgerät, dem E-Mail-Anbieter oder etwaigen Angaben im Lebenslauf. Wenn sich diese auf „algorithmischen Gruppen“ beruhende Vorauswahl keinem geschützten Merkmal eindeutig zuordnen lässt, fallen etwaige Benachteiligungen aus dem Anwendungsbereich des AGG.

Massenhaft schutzlos

Verschärfend kommt hinzu, dass das AGG zivilrechtliche Schuldverhältnisse nicht hinreichend erfasst. Das Gesetz schützt zwar bei Verträgen zwischen Privaten vor Diskriminierung (sog. zivilrechtliches Benachteiligungsverbot, § 19 AGG). Für die Merkmale Geschlecht, Religion, Behinderung, Alter und sexuelle Identität gilt dieses Verbot jedoch – neben privatrechtlichen Versicherungen (§ 19 Abs. 1 Nr. 2 AGG) – nur bei sog. Massengeschäften und massengeschäftsähnlichen Geschäften (§ 19 Abs. 1 Nr. 1 AGG). Allein Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft (sowie in Zukunft ggf. des Geschlechts, vgl. § 19 Abs. 2 AGG-E) sind darüber hinaus auch in allen zivilrechtlichen Schuldverhältnissen verboten (§ 19 Abs. 2 AGG). Massengeschäfte sind solche, die typischerweise „ohne Ansehen der Person“ zustande kommen (MüKoBGB/Thüsing, 10. Aufl. 2025, AGG § 19 Rn. 17); bei massengeschäftsähnlichen Geschäften kommt dem Ansehen der Person nachrangige Bedeutung zu (BGH NJW 2020, 852 Rn. 20 f.). Die algorithmischen Systeme zeichnen sich jedoch gerade dadurch aus, dass sie eine Vielzahl von Einzelfallentscheidungen treffen (Spiecker gen. Döhrmann/Towfigh, Automatisch benachteiligt, 2023, S. 76). Den Verwender:innen geht es um die automatisierte Optimierung der eigenen Bedingungen. Mit anderen Worten betreiben algorithmische Systeme massenhafte Individualisierung (vgl. Spiecker gen. Döhrmann/Towfigh, Automatisch benachteiligt, 2023, S. 28): Gerade weil algorithmische Systeme massenhaft benachteiligen, dabei aber jede Entscheidung auf die einzelne Person zuschneiden, droht ihnen das Merkmal „ohne Ansehen der Person“ zu fehlen, an das § 19 Abs. 1 Nr. 1 AGG den Diskriminierungsschutz knüpft. Geschäfte, in denen algorithmische Entscheidungen den Alltag prägen – Kreditvergabe, Scoring, personalisierte Preissetzung – drohen deshalb, aus den zivilrechtlichen Benachteiligungsverboten i.S.d. § 19 Abs. 1 AGG herauszufallen.

Rechte, die niemand geltend machen kann

Doch selbst dort, wo das AGG greift, bleibt sein Schutz oft wirkungslos. Erstens bemerken die einzelnen Betroffenen oft gar nichts von der algorithmischen Diskriminierung (sog. opferlose Diskriminierung). Die abgelehnte Bewerberin erfährt nicht, dass eine Software sie aussortiert hat, geschweige denn, warum. Zweitens können Betroffene – selbst wenn sie von der algorithmischen Diskriminierung wissen – diese oftmals nicht belegen. § 22 AGG erleichtert Betroffenen zwar die Rechtsdurchsetzung: Danach genügt es, dass sie Indizien beweisen, die eine Benachteiligung vermuten lassen – die Gegenseite muss dann beweisen, dass kein Verstoß gegen das Benachteiligungsverbot vorliegt. Solche Indizien vorzubringen, erfordert bei algorithmischer Diskriminierung jedoch den Zugriff auf die verwendeten (Trainings-)Daten oder Informationen über die Programmierung bzw. Funktionsweise des Systems – Informationen, auf die (in der Regel) nur Hersteller:innen bzw. Verwender:innen der KI Zugriff haben. Bei mittelbaren Diskriminierungen kommt hinzu, dass die Betroffenen einen Zusammenhang zwischen den Entscheidungskriterien und den daraus abgeleiteten diskriminierenden Ergebnissen erkennen und belegen müssen. Das AGG kennt jedoch keine eigenen Auskunfts- und Offenlegungsrechte gegenüber Unternehmen, die die diskriminierende KI einsetzen. Damit läuft die durch § 22 AGG ermöglichte Beweiserleichterung zugunsten der Betroffenen faktisch ins Leere.

Ein neues Gesetz für morgen

Wer ein zwanzig Jahre altes Gesetz reformieren will, ohne den technologischen Fortschritt mitzudenken, reformiert ein Gesetz für eine Welt, die es so nicht mehr gibt. Dass Deutschland zu einer führenden „KI-Nation“ (Koalitionsvertrag von CDU, CSU und SPD für die 21. Legislaturperiode, S. 4) werden will, darf nicht auf Kosten des Diskriminierungsschutzes gehen, insbesondere der aktuellen AGG-Reform. Da weder die DSGVO noch die KI-VO algorithmische Diskriminierung hinreichend adressieren (zu Letzterer siehe auch Lorch/Streitbörger, Algorithmische Diskriminierung und der AI-Act, in: Der AI Act – Verständlich für Unternehmen und Institutionen, 2026, im Erscheinen), ist die nationale Reform des AGG zudem eine Gelegenheit, die Potenziale von KI verantwortungsvoll und diskriminierungsfrei nutzbar zu machen.

Zahlreiche Wissenschaftler:innen und zivilgesellschaftliche Organisationen haben dafür bereits Vorschläge vorgelegt. So sollte die AGG-Reform die in § 3 AGG aufgeführten Diskriminierungsarten auf solche erweitern, die auf statistischen Zusammenhängen beruhen. Zudem seien die Betroffenenrechte dahin gehend zu stärken, dass den Betroffenen proaktiv die Funktionsweise eingesetzter algorithmischer Entscheidungssysteme sowie die verwendeten Daten offengelegt werden, sobald eine KI-gestützte Entscheidung sie betrifft (etwa bei der Ablehnung in einem Bewerbungsverfahren, vgl. Legner, in: Ebers/Heinze/Steinrötter, Künstliche Intelligenz und Robotik, 2. Aufl. 2026, § 8 Rn. 48 f. m.w.N.). Nur so ist eine gerichtliche Rechtsdurchsetzung überhaupt möglich. Oftmals verzichten Betroffene auf eine Klage, weil das Prozesskostenrisiko hoch ist und der individuelle Schadensersatz gering. Deshalb sollte zumindest die Antidiskriminierungsstelle mit Auskunfts- und Untersuchungsrechten bezüglich Trainingsdaten und Quellcodes ausgestattet und dazu berechtigt werden, Algorithmen zu auditieren. Damit könnte sie die Position einer aktiven Aufsichts- und Kontrollinstanz einnehmen (ausführlich Orwat, Studie zu Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019, S. 126 ff.; zu weiteren Forderungen siehe z.B. Stellungnahme vom 17.04.2026, S. 4). Daneben müssen Antidiskriminierungs- und Verbraucherverbände mit eigenständigen Verbandsklagemöglichkeiten gem. § 23 AGG i.V.m. dem UKlaG ausgestattet werden²⁾, um die Rechtsdurchsetzungsmöglichkeiten zu stärken.

Aber auch über das AGG hinaus werden weitere – gesellschaftliche – Maßnahmen erforderlich sein, um algorithmische Diskriminierungsrisiken erkennen und vermeiden zu können. Dies umfasst Gender- und Diversitätswissen in der Informatikforschung und für Aufsichtsbehörden, einschließlich soziotechnischer Kompetenzen und Fachwissens zur Bereinigung verzerrter Datensätze. Da sich Bias tief in den Datensätzen wie auch in der Systemstruktur festsetzt, bedarf es umfassender empirischer Forschung mit diskriminierungsfreier Datenerhebung (z.B. durch eine gezielte Ex-ante-Bewertung von Datensätzen). Daneben braucht es auch mehr Explainable AI, also Methoden, um KI-Systeme nachvollziehbarer zu machen (z.B. warum eine KI zu einem bestimmten Ergebnis gelangt ist). Außerdem sind sog. Open Data zu stärken, also solche Daten, die öffentlich und frei zugänglich sind und von allen genutzt und weiterverarbeitet werden dürfen.³⁾ Erst wenn erkennbar ist, worauf ein System seine Entscheidung stützt und wie es zu dieser kommt, lassen sich diskriminierende Muster aufdecken.