Wenn die KI entscheiden soll: Je betroffener, desto skeptischer

1. Startseite
2. Newsroom
3. Aus den Instituten
4. 2025
5. Automatisch benachteiligt? Was Betroffene über den Einsatz von KI bei der Bewilligung von Sozialleistungen denken

Wenn die KI entscheiden soll: Je betroffener, desto skeptischer

Neue Studie zur Akzeptanz von automatisierten Entscheidungen bei sozialen Leistungen

© Nejron Photo / Adobe Stock

Auf den Punkt:

• Umfrage zu KI-Akzeptanz aus USA und Großbritannien: Befragungen mit mehr als 3.200 Teilnehmenden zu Einstellungen gegenüber KI-gestützten Entscheidungsprozessen bei der Bewilligung von Sozialleistungen in den USA und im Vereinigten Königreich.

• Betroffenheit entscheidet: Wer Sozialleistungen empfängt, ist skeptischer gegenüber KI-gestützten Entscheidungen als Nicht-Empfängerinnen und -empfänger; wer keine Sozialleistung empfängt, überschätzt systematisch das Vertrauen, das Betroffene in KI haben - selbst bei finanziellen Anreizen für eine realistische Einschätzung.

• Knackpunkt Vertrauen: Maßnahmen wie ein hypothetisches Widerspruchsrecht erhöhen das Vertrauen in KI nur geringfügig und ändern nichts an der grundsätzlichen Ablehnung durch Betroffene.

• Gestaltung von KI-Systemen: Die Studienergebnisse zeigen deutlich, dass Entwicklungsprozesse für KI-Systeme partizipativ gestaltet und die Perspektiven vulnerabler Gruppen aktiv einbezogen werden sollten. Andernfalls droht ein Vertrauensverlust in Staat und Verwaltung.

Vor einigen Jahren testete die Stadt Amsterdam das KI-Programm Smart Check, das potenziellen Sozialhilfebetrug aufdecken sollte. Anstatt Anträge nach dem Zufallsprinzip zu prüfen, durchforstete das System zahlreiche Datenpunkte aus kommunalen Registern - beispielsweise Adressen, Familienkonstellationen, Einkommen, Vermögen und frühere Leistungsanträge -, um einen "Risikowert" zu ermitteln. Anträge mit hohem Risiko wurden als überprüfungswürdig eingestuft und an die Mitarbeitenden zur weiteren Kontrolle weitergeleitet. In der Praxis traf dies jedoch unverhältnismäßig häufig vulnerable Gruppen wie etwa Migrantinnen und Migranten, Frauen oder Eltern, oft ohne nachvollziehbare Begründung oder effektive Möglichkeit zum Widerspruch. Wachsende Kritik von Interessenverbänden, Juristinnen und Juristen sowie Forschenden führte Anfang des Jahres zur Aussetzung des Programms; eine jüngste Evaluation bestätigte erhebliche Mängel.

Dieser Fall verdeutlicht ein zentrales Dilemma beim Einsatz von KI in der Sozialverwaltung: Solche Systeme versprechen zwar mehr Effizienz und schnellere Entscheidungen, bergen aber zugleich die Gefahr, Vorurteile zu verstärken, Vertrauen zu untergraben und vulnerable Gruppen unverhältnismäßig stark zu belasten. Vor diesem Hintergrund untersuchen Forschende nun, wie direkt Betroffene den zunehmenden Einsatz von KI bei der Verteilung von Sozialleistungen bewerten.

In einer in Nature Communications veröffentlichten Studie führten Forschende des Max-Planck-Instituts für Bildungsforschung und der Toulouse School of Economics drei groß angelegte Umfragen mit über 3.200 Teilnehmenden in den USA und im Vereinigten Königreich durch. Ziel war es herauszufinden, wie Menschen den Einsatz von KI bei Entscheidungen über Sozialleistungen einschätzen. Im Mittelpunkt stand ein realistisches Dilemma: Würden sie schnellere Entscheidungen durch eine Maschine akzeptieren, auch wenn dadurch mehr Anträge ungerechtfertigt abgelehnt würden? Das zentrale Ergebnis: Während viele Bürgerinnen und Bürger bereit sind, kleinere Genauigkeitseinbußen zugunsten kürzerer Wartezeiten in Kauf zu nehmen, zeigen Leistungsempfängerinnen und -empfänger deutlich größere Vorbehalte gegenüber KI-gestützten Entscheidungen.

"Bedenklicherweise wird bei politischen Entscheidungen davon ausgegangen, dass die Durchschnittsmeinung die Realität aller Betroffenen widerspiegelt", erklärt Erstautorin Mengchen Dong. Sie ist Wissenschaftlerin im Forschungsbereich Mensch und Maschine des Max-Planck-Instituts für Bildungsforschung in Berlin und beschäftigt sich mit ethischen Fragen des KI-Einsatzes. Tatsächlich zeigt die Studie eine klare Trennlinie: Wer Sozialleistungen empfing, lehnte KI-gestützte Entscheidungen deutlich häufiger ab als Personen, die keine Leistungen empfangen, selbst wenn die Systeme eine schnellere Bearbeitung versprachen.

Hinzu kommt, dass Nicht-Empfängerinnen und -empfänger systematisch überschätzen, wie groß die Bereitschaft Betroffener ist, KI zu vertrauen. Das gilt selbst dann, wenn sie für eine realistische Einschätzung der anderen Gruppe finanziell belohnt werden. Vulnerable Gruppen verstehen die Sichtweise der Mehrheitsgesellschaft also besser als umgekehrt.

Methodik: simulierte Entscheidungsdilemmata und Perspektivwechsel

Die Forschenden präsentierten den Teilnehmenden realistische Entscheidungsszenarien: Sie konnten wählen zwischen einer Bearbeitung durch menschliche Sachbearbeiterinnen und -bearbeiter mit längerer Wartezeit (etwa acht Wochen) oder einer schnelleren Entscheidung durch KI, verbunden mit einem um fünf bis 30 Prozent höheren Risiko für eine fehlerhafte Ablehnung.

Die Teilnehmenden sollten entscheiden, welche Option sie bevorzugen würden - entweder aus ihrer eigenen Perspektive oder im Rahmen eines gezielten Perspektivwechsels, bei dem sie sich in die Lage der jeweils anderen Gruppe (Leistungsempfänger oder Nicht-Empfänger) versetzen sollten.

Während die US-Stichprobe repräsentativ für die Bevölkerung war (etwa 20 Prozent der Befragten bezogen aktuell Sozialleistungen), war die britische Studie gezielt auf ein 50/50-Verhältnis zwischen Bezieherinnen und Bezieherinnen von Universal Credit - einer Sozialleistung für einkommensschwache Haushalte - und Nicht-Empfängerinnen und -empfängern ausgelegt. So konnten Unterschiede zwischen den Gruppen systematisch erfasst werden. Auch demografische Faktoren wie Alter, Geschlecht, Bildung, Einkommen und politische Orientierung wurden berücksichtigt.

Ist ein Perspektivwechsel von Vorteil - und hilft ein Widerspruchsrecht?

Die britische Teilstudie untersuchte zudem, ob finanzielle Anreize die Fähigkeit verbessern konnten, die Perspektive der anderen Gruppe realistisch einzuschätzen. Teilnehmende erhielten Bonuszahlungen, wenn ihre Einschätzungen nahe an den tatsächlichen Meinungen der jeweils anderen Gruppe lagen. Trotz der Anreize hielten die systematischen Fehleinschätzungen an - insbesondere bei denjenigen, die keine Sozialleistungen empfingen.

Auch ein weiterer Versuch, Vertrauen in KI zu stärken, zeigte nur begrenzten Erfolg: Einige Teilnehmende wurden darüber informiert, dass es eine hypothetische Möglichkeit gebe, KI-Entscheidungen bei menschlichen Sachbearbeiter*innen anzufechten. Zwar erhöhte diese Information das Vertrauen leicht, änderte aber wenig an der grundsätzlichen Bewertung des KI-Einsatzes.

Folgen für das Vertrauen in Staat und Verwaltung

Laut der Studie hängt die Akzeptanz von KI im Sozialwesen eng mit dem Vertrauen in staatliche Institutionen zusammen. Je stärker Menschen den Einsatz von KI bei Entscheidungen über Sozialleistungen ablehnen, desto geringer ist ihr Vertrauen in die Regierungen, die diese Systeme nutzen - unabhängig davon, ob sie selbst Leistungen beziehen oder nicht. Im Vereinigten Königreich, wo der geplante Einsatz von KI bei der Bewilligung von Universal Credit untersucht wurde, gaben viele Teilnehmende an, dass sie menschliche Sachbearbeiter bevorzugen würden, selbst wenn KI bei Geschwindigkeit und Genauigkeit gleichauf wäre. Auch der Hinweis auf ein mögliches Widerspruchsverfahren änderte daran wenig.

Appell für eine partizipative Entwicklung von KI-Systemen

Die Forschenden warnen davor, KI-Systeme zur Bewilligung von Sozialleistungen allein nach dem Willen der Mehrheit oder auf Basis aggregierter Daten zu entwickeln. "Wenn die Perspektiven vulnerabler Gruppen nicht aktiv berücksichtigt werden, drohen Fehlentscheidungen mit realen Konsequenzen - etwa ungerechtfertigte Leistungsentzüge oder falsche Beschuldigungen", sagt Co-Autor Jean-François Bonnefon, Direktor der Abteilung Sozial- und Verhaltenswissenschaften an der Toulouse School of Economics.

Das Autorenteam fordert daher eine Neuausrichtung bei der Entwicklung öffentlicher KI-Systeme: weg von rein technischen Effizienzkennzahlen und hin zu partizipativen Prozessen, die die Perspektiven vulnerabler Gruppen ausdrücklich einbeziehen. Andernfalls drohen Fehlentwicklungen, die langfristig das Vertrauen in Verwaltung und Technologie untergraben. Aufbauend auf den Ergebnissen aus den USA und dem Vereinigten Königreich soll eine laufende Kooperation mithilfe der Infrastruktur von Statistics Denmark vulnerable Bevölkerungsgruppen in Dänemark einbeziehen und ihre Sichtweisen auf Verwaltungsentscheidungen erfassen.