Künstliche Intelligenz hat Black-Box-Charakter, doch nur Transparenz schafft Vertrauen. Inzwischen gibt es spezielle Software, um den jeweiligen Lösungsweg zu erklären. Eine kostenlos erhältliche Studie des Fraunhofer IPA hat unterschiedliche Methoden verglichen und bewertet, die maschinelle Lernverfahren verständlich machen.
In der Fertigung erkennt sie Anomalien im Produktionsprozess, in Banken entscheidet sie über Kredite und bei Netflix findet sie für jeden Kunden den passenden Film. Hinter KI-Entscheidungen stecken hochkomplexe Algorithmen, die im Verborgenen agieren. Je anspruchsvoller das Problem, desto komplexer das KI-Modell – und damit auch undurchschaubarer. Doch die Nutzer wollen insbesondere bei kritischen Anwendungen verstehen, wie eine Entscheidung zustande kommt: Warum wurde das Werkstück als fehlerhaft aussortiert? Was verursacht den Verschleiß der Maschine? Nur so sind Verbesserungen möglich, die womöglich auch die Sicherheit betreffen.
Ein ganzes Forschungsfeld ist entstanden, um dieses Problem zu lösen: die Explainable Artificial Intelligence, die erklärbare Künstliche Intelligenz, kurz xAI. Auf dem Markt gibt es zahlreiche digitale Hilfen, die komplexe KI-Lösungswege erklärbar machen. Sie markieren etwa in einem Bild diejenigen Pixel, die dazu geführt haben, dass fehlerhafte Teile aussortiert wurden. Experten des Fraunhofer-Instituts für Produktionstechnik und Automatisierung IPA aus Stuttgart haben neun gängige Erklärungsverfahren – wie LIME, SHAP oder Layer-Wise Relevance Propagation – verglichen und mithilfe von beispielhaften Anwendungen bewertet. Dabei zählten vor allem drei Kriterien:
- Stabilität: Bei gleicher Aufgabenstellung soll das Programm stets dieselbe Erklärung liefern. Es darf nicht sein, dass für eine Anomalie in der Produktionsmaschine einmal Sensor A und dann Sensor B verantwortlich gemacht wird. Das würde das Vertrauen in den Algorithmus zerstören und das Ableiten von Handlungsoptionen erschweren.
- Konsistenz: Gleichzeitig sollten nur geringfügig unterschiedliche Eingabedaten auch ähnliche Erklärungen erhalten.
- Wiedergabetreue: Erklärungen müssen tatsächlich das Verhalten des KI-Modells abbilden. Es darf nicht passieren, dass die Erklärung für die Verweigerung eines Bankkredits ein zu hohes Alter des Kunden benennt, obwohl das zu geringe Einkommen ausschlaggebend war.
Fazit der Studie: Alle untersuchten Erklärungsmethoden sind brauchbar, aber die eine perfekte Methode gibt es nicht, sagt Nina Schaaf, beim Fraunhofer IPA verantwortlich für die Studie. Große Unterschiede gibt es beispielsweise bei der Laufzeit, die ein Verfahren benötigt. Die Auswahl der besten Software ist zudem maßgeblich von der Aufgabenstellung abhängig. So sind etwa Layer-Wise Relevance Propagation und Integrated Gradients für Bilddaten besonders gut geeignet. Und auch die Zielgruppe einer Erklärung ist wichtig: Ein KI-Entwickler braucht eine Erklärung anders dargestellt als der Produktionsleiter, denn beide ziehen jeweils andere Schlüsse aus den Erklärungen.
Die Studie »Erklärbare KI in der Praxis« ist kostenlos erhältlich