Methoden der Erklärbaren KI (XAI) ermöglichen es, nachvollziehbar zu machen, auf welcher Informationsgrundlage ein KI-System zu einer bestimmten Ausgabe gekommen ist. Dadurch kann Vertrauen sinnvoll kalibriert werden. In Kombination mit Methoden des interaktiven maschinellen Lernens können Erklärungen dabei unterstützen, KI-Systeme durch gezielte Rückmeldungen zu verbessern. Interaktive XAI-Systeme liefern damit eine technologische Grundlage für menschliche Kontrolle und Aufsicht von KI-Systemen.
Domänenfachleute und Endnutzende sind Teil des maschinellen Lernprozess. Ihnen werden die Modellvorhersagen und Klassifikationen nachvollziehbar erklärt und sie haben ihrerseits die Möglichkeit, korrigierend in den Lernprozess einzugreifen, etwa auf Modell- oder auf Datensatzebene (Schmid 2024). Auf diese Weise können durch die XAI-Komponente eines KI-Systems fehlerhafte Systemausgaben und Biases aufgedeckt werden. Durch die interaktive Komponente kann das Modell eines KI-Systems oder auch ein nachvollziehbares, regelbasiertes Ersatzmodell (sogenannt Surrogat-Modell), das ein ursprüngliches Black-Box-Modell approximiert, korrigiert und verbessert werden – beispielsweise indem ein Trainingsdatensatz, eine Verlustkurve oder Regelsätze angepasst werden (engl. explain to revise).
Die Potenziale von XAI
Anwendungsnahe Studien zeigen, dass beispielsweise Modelle zur Krebserkennung oder zur Anomalieerkennung in der industriellen Qualitätskontrolle mit interaktiver XAI verbessert werden können (Plattform Lernende System 2023, Gramelt, Höfer & Schmid 2024). Es konnte zudem demonstriert werden, dass durch interaktive XAI die Vorhersage- und Erklärungskraft von KI-Modellen erhöht und damit mehr Vertrauen bzw. begründetes Misstrauen in KI-Systeme aufgebaut werden kann (Teso und Kersting 2019, Gramelt, Höfer & Schmid 2024). Darüber hinaus spielt interaktive XAI unter anderem bei der Kontrolle von Systemen mit höheren Autonomiegraden und bei der Anpassung von KI-Systemen an Domänen und Individuen eine wichtige Rolle.
Nutzende wie Domänenexpertinnen und -experten werden das Verhalten des Modells mit ihrer Intuition oder ihrem Erfahrungswissen abgleichen, sodass Diskrepanzen zwischen dem KI-Modell und den Domänenspezifika erkannt und reduziert werden können (vgl. Bhatt et al. 2020, S.650). Interaktive XAI-Methoden können hier unterstützen, indem sie beispielsweise Domänenexpertinnen und -experten den Abgleich mit dem Erfahrungswissen durch eine Erklärung erleichtern und diese so wiederum präziseres Feedback für die Anpassung des KI-Systems geben können. Ein geeignetes User-Experience-Design kann Nutzende unterstützen, wenn durch Interaktivität im Dialog mit dem KI-System verschiedene Ebenen und Formen der Erläuterung abgerufen werden können (Finzel et al. 2021).
Wo die Herausforderungen liegen
In der praktischen Umsetzung und Anwendung von interaktiver XAI zeigen sich jedoch verschiedene Herausforderungen, die Potenziale für weitere Forschung und Entwicklung liefern. Eine Meta-Studie zeigt etwa, dass aktuell Mensch-KI-Teams in den meisten Fällen eine schlechtere Performanz liefern, als das beste KI-Modell oder der beste Mensch alleine (Vaccaro, Almaatouq, & Malon, 2024). Gründe dafür liegen zum Teil an unzureichender Passung zwischen menschlicher und maschineller Informationsverarbeitung:
- Eine zielgerichtete Interaktion mit KI-Systemen basiert darauf, dass Menschen verstehen können, warum das System zu einer bestimmten Ausgabe kommt. Die Kommunikation zwischen Menschen findet meist auf der Basis von abstrakten, aber aussagekräftigen Konzepten statt. Wie KI-Systeme dazu befähigt werden können, auf Basis von Konzepten zu kommunizieren, ist Gegenstand der Forschung zu konzept-basierter XAI (Finzel et al., 2025).
- Wenn Nutzende in der Interaktion korrigierende oder annotierende Informationen an das KI-System weitergeben, kann dies ‚Rauschen‘ durch ungenaues Feedback oder Flüchtigkeitsfehler in den Lernprozess einführen und zu erhöhtem Aufwand und Kosten auf Seiten der Nutzenden führen.
- Menschliche Urteile sind teilweise durch subjektive Biases gefärbt. Gerade in Grenzbereichen, etwa ob ein Werkstück Ausschuss ist oder nicht, können verschiedene Personen zu unterschiedlichen Einschätzungen kommen. Entsprechend kann interaktives Feedback Inkonsistenzen bei der Modellanpassung erzeugen.
- Erklärungen sollen prinzipiell eine Grundlage für Vertrauen von Nutzenden in KI-Systeme schaffen. Allerdings können Erklärungen, selbst wenn sie fehlerhaft sind, zu unberechtigtem Übervertrauen oder umgekehrt, wenn sie nicht verständlich sind, zu unberechtigtem Misstrauen gegenüber dem System führen (Schmid, 2024).
Auch bezüglich der XAI-Methodik bestehen aktuell noch offene Fragen. So kann die mangelnde Modelltreue einer Erklärung zu einem Problem in der Interaktion werden – etwa wenn die Erklärung den Nutzenden ungenaue oder falsche Information darüber gibt, welche Information aus einer Eingabe (z.B. einem Bild) ein gelerntes Modell vor allem genutzt hat, um zu seiner Ausgabe zu kommen und dieser ein entsprechendes Feedback an das System gibt. Und während es für die Evaluation von Methoden des maschinellen Lernens standardisierte Metriken und Benchmarks gibt, gibt es aktuell noch keine bewährte Methodik zur Evaluierung von erklärbarer interaktiver XAI.
Ein typischer Anwendungsfall
Ein typischer Anwendungsfall für die Erkennung von Anomalien in der Industrie ist die Qualitätssicherung in der Produktionslinie – im Beispiel geht es um die industrieller Scheiben. Um den Prozess der Erkennung von Defekten zu beschleunigen, ist es hilfreich, Endnutzenden eine Begründung für die Klassifizierungsentscheidung zu geben. Dies kann im Falle von Bildern durch die Hervorhebung der für die Anomalieerkennung verantwortlichen Pixel geschehen (siehe Abbildung 2).
