Erklärungen gemeinsam entwickeln

Was waren die wichtigsten neuen Erkenntnisse zur Erklärbarkeit in der KI?

Katharina Rohlfing: Ein zentraler Punkt unseres Ansatzes ist die Annahme, dass aktuelle "explainable AI"-Systeme einen grundlegenden Fehler haben: Sie behandeln Erklärungen als Einbahnstraße, das heißt, die Maschine erklärt, die Person hört zu. Unsere Forschung hat dazu beigetragen, den bzw. die Erklärungsempfänger*in als Adressat*in der Erklärung sichtbar zu machen, denn im echten Leben ist Verstehen ein wechselseitiger Prozess: Menschen sprechen miteinander, stellen Rückfragen, nicken, schauen verwirrt oder gestikulieren, um zu zeigen, ob sie etwas verstanden haben.
Aus diesem Grund haben wir ein neues Rahmenwerk entwickelt, das Erklären als einen wechselseitigen Prozess betrachtet, ähnlich einem Gespräch, das sich im Laufe der Zeit entwickelt und von den Beteiligten gemeinsam gestaltet wird. Wir bezeichnen diese Systeme, die gemäß unserem Rahmenwerk entwickelt wurden, als Social Explainable AI oder sXAI. Sie passen ihre Erklärungen in Echtzeit an die jeweilige Person an, je nachdem, wie diese reagiert oder was sie für relevant hält.

© TRR 318/ Stefan Sättele

Wie haben Sie getestet, ob dieses Modell tatsächlich funktioniert?

Katharina Rohlfing: Wir haben echte Gespräche genau untersucht, zum Beispiel wie Menschen in alltäglichen Situationen Dinge erklären. Dabei haben wir gesehen, dass Erklärungen zwar oft mit einem Monolog beginnen, der Explainee (die Person, die eine Erklärung erhält) aber in der Regel aktiv beteiligt ist: Sie stellt Nachfragen, wirkt verwirrt oder signalisiert ihren Fortschritt im Verständnis. Das bedeutet: Erklären ist oft ein Dialog, kein Monolog.
Bei einer genaueren Analyse des Erklärprozesses haben wir auch untersucht, wie Menschen Sprache und Gesten nutzen, um zu zeigen, was sie verstehen und was weiter ausgeführt werden muss. Wir haben bestimmte Muster identifiziert, die zeigen, wie Menschen gemeinsam Verständnis aufbauen. Außerdem haben wir untersucht, wie sie sich gegenseitig "scaffolden", also schrittweise Unterstützung geben, wie ein temporäres Gerüst, das jemandem beim Hinaufklettern hilft. Zum Beispiel kann man erst anleiten, wie man etwas tut, und dann erklären, was man vermeiden sollte. Negative Instruktionen können ein hilfreiches Gerüst sein.

Philipp Cimiano: Unsere rechnergestützte Arbeit beschäftigte sich damit, unser Rahmenkonzept in KI-Systeme zu implementieren. Diese Systeme reagieren auf die Person, der sie etwas erklären. Sie berücksichtigen drei zentrale Aspekte: Kooperation (wie gut die Interaktion funktioniert), soziale Angemessenheit (wie passend sich das System verhält) und Verstehen.
Ein gutes Beispiel ist das im Projekt A01 entwickelte System SNAPE. Es ist sensibel gegenüber den Reaktionen einer Person und passt seine Erklärung entsprechend an. Es gibt also nicht jedem die gleiche Erklärung, sondern individualisiert sie je nach Situation.

© TRR 318/ Stefan Sättele

Haben Sie neue Methoden entwickelt, um Erklärungen effektiver zu untersuchen?

Philipp Cimiano: Ja, wir haben neue Wege gefunden, um besser zu untersuchen, wie Erklärungen funktionieren. Zum Beispiel haben wir neue Instrumente entwickelt, um zu messen, ob jemand durch eine Erklärung etwas verstanden hat oder verwirrt zurückbleibt.
Und wir haben unsere Untersuchungen nicht nur auf das Labor beschränkt. Uns war es wichtig zu sehen, wie Erklärbarkeit im Alltag wirkt, bei verschiedenen Menschen in unterschiedlichen Situationen. Zum Beispiel haben wir gefragt, welche Art von KI-Systemen sie täglich nutzen und ob sie sich Erklärungen zu deren Funktionen wünschen würden.

Katharina Rohlfing: Unser Ziel war es, zu untersuchen, wie sich Verstehen entwickelt - nicht nur, ob es geschieht. Deshalb haben wir eine Methode eingeführt, bei der die Teilnehmenden zurückblicken und ihre "Aha-Momente" beschreiben - also jene Schlüsselmomente, in denen ihr Verständnis einen Wendepunkt erfuhr. Diese Momente haben wir ins Zentrum unserer Analyse gestellt.
Eine weitere Methode war die Gestaltung spezieller Workshops, in denen Menschen und KI gemeinsam Erklärungen erarbeiten. Diese neuen Methoden helfen uns, tiefere Einblicke zu gewinnen, nicht nur in den Prozess des Erklärens und Verstehens, sondern auch darin, wie man ihn fördern kann und wann Erklärungen wirklich hilfreich sind.

© TRR 318/ Stefan Sättele

Was war in der ersten Förderphase besonders herausfordernd?

Philipp Cimiano: Die größte Herausforderung war es, Menschen aus sehr unterschiedlichen Fachrichtungen wie Informatik, Linguistik oder Psychologie zusammenzubringen. Jede Disziplin hat ihre eigene Denk- und Ausdrucksweise. Deshalb mussten wir zunächst eine gemeinsame Sprache entwickeln.
Eine weitere große Herausforderung stellte die Veröffentlichung von ChatGPT dar. Diese hat viele Forschungsarbeiten im Bereich der Technologieentwicklung stark verändert und allen Nutzer*innen neue Möglichkeiten eröffnet. Deshalb haben wir schnell eine Arbeitsgruppe gegründet, die sich auf diese neuen Entwicklungen konzentrierte und daraus neue Forschungsprojekte ableitete.

Wie gut hat die interdisziplinäre Zusammenarbeit funktioniert?

Katharina Rohlfing: Ich bin stolz sagen zu können, dass wir in vielerlei Hinsicht stark in der Interdisziplinarität sind. Innerhalb einzelner Projekte arbeiten Menschen aus verschiedenen Fachrichtungen zusammen. So haben die Projekte eine interdisziplinäre Architektur. Aber wir arbeiten auch projektübergreifend, wie zum Beispiel bei unserem ersten Buch über Social XAI, das dieses Jahr veröffentlicht wird. Darüber hinaus arbeiten wir in Gruppen zu aktuellen Themen, die wir für den SFB als relevant betrachten, etwa zu LLMs.
Regelmäßige Treffen, wie unsere SFB-Konferenzen, Schreib-Retreats und die sogenannten "Activity Afternoons", haben die Zusammenarbeit vermutlich ebenfalls gestärkt. Natürlich ist es nicht immer leicht, neue Mitglieder in diese etablierte Kultur zu integrieren, aber wir haben Formate geschaffen, die diesen Prozess erleichtern.

Welche großen Herausforderungen sehen Sie für die Zukunft?

Philipp Cimiano: Große Sprachmodelle wie ChatGPT sind leistungsstark, aber sie haben auch Grenzen: Sie berücksichtigen oft nicht die spezifische Situation. Sie erklären zwar Dinge, aber sie verstehen nicht wirklich, wer fragt oder warum. In Zukunft brauchen wir Systeme, die sich flexibel an die jeweilige Situation anpassen können, Systeme, die verstehen, was im Moment relevant ist.

Katharina Rohlfing: Wir müssen unsere Sichtweise auf Erklärbarkeit grundlegend ändern. Es reicht nicht, dass ein Output verständlich ist. Systeme müssen Kontexte schaffen, in denen die Interaktion von den Nutzer*innen mitgestaltet werden kann - sodass Menschen nicht nur passiv Informationen empfangen, sondern aktiv mit ihnen umgehen, um zu einem relevanten Verständnis zu gelangen. Das stärkt die Zusammenarbeit zwischen Mensch und KI und stellt sicher, dass Technologie verständlich bleibt, aber auch nützlich ist.

Der Sonderforschungsbereich Transregio 318