XAIR – Mit welchem Verfahren schauen wir in die KI-Blackbox?

Viele Machine Learning-Projekte gehen nie in einen Produktivbetrieb, weil ihre Entscheidungswege nicht nachvollziehbar sind. Moderne Explainable AI (XAI)-Verfahren wie LIME, Anchors oder SHAP versprechen Abhilfe, sind aber selbst unübersichtlich. Data Science Teams verwenden die Verfahren teilweise unreflektiert und ohne auf die Annahmen der Methoden einzugehen. Mit dem eXplainable AI Recommender, kurz XAIR, hat die viadee ein Tool entwickelt, das mit Hilfe von Fuzzy Rules für einen bestimmten Nutzungskontext geeignete XAI-Methoden vorschlägt und Expertenwissen für die Verfahrensauswahl einfach zugänglich macht.

Was ist Explainable KI (XAI)?

Explainable AI oder XAI (eXplainable Artificial Intelligence) beschreibt das systematische Erklären und Validieren des maschinellen Lernens unter Einbeziehung der Anwender:innen. XAI ist ein Teil der dritten KI-Generation.

Die intensive Forschung im Bereich KI bringt immer wieder neue (scheinbar) intelligente Algorithmen im Bereich des maschinellen Lernens hervor, die einen hohen Nutzen versprechen. Diesem Nutzen steht jedoch die Undurchsichtigkeit der Technologie gegenüber: Wie eine KI zu einem Ergebnis gekommen ist, ist für die Anwender:innen meistens nicht nachvollziehbar. Mehr zu dem Thema auf unserer Seite zu Explainable AI (XAI).

XAI in der Praxis – Warum ist das schwer?

Erklärungen von KI-Systemen werden nicht nur in kritischen KI-Anwendungskontexten immer wichtiger und die Regulatorik bezüglich der von ihnen getroffenen, personenbezogenen Entscheidungen (u.a. durch die DSGVO) strenger. Obwohl es bereits eine Vielzahl von XAI-Methoden zur Steigerung der Erklärbarkeit gibt, werden sie in der Praxis zu wenig angewendet. Dies liegt zum einen daran, dass XAI ein neuer, sich rasant entwickelnder Bereich ist und zum anderen, dass das bereits existierende Wissen verstreut ist und erst auf den Kontext angewendet werden muss.

Außerdem kommt hinzu, dass nicht jede XAI-Methode in jedem Fall geeignet ist. Gewisse Faktoren des Modell-, Daten- und Nutzungskontexts erschweren oder verhindern die Anwendung mancher XAI-Methoden oder verfälschen oder verkomplizieren ihr Erklärungsergebnis. Ein Beispiel dafür ist die Korrelation der Eingabe-Features: Modellagnostische Verfahren wie SHAP, LIME oder Anchors arbeiten perturbationsbasiert, d.h. sie erklären das Modell indem sie die Eingabe-Features verändern und die Auswirkungen auf das Modellergebnis oder den -fehler beobachten. Dabei gehen sie in der Regel von einer Unabhängigkeit der Features untereinander aus. Sollten die Eingabe-Features untereinander korrelieren, kann es zur Generierung seltener, unrealistischer oder sogar unmöglicher Dateninstanzen kommen.

Ein Beispiel hierfür mit den Daten einer Person ist die Veränderung des Features „Gewicht“ auf „48 kg“, während das Feature „Körpergröße“ den Wert „200 cm“ behält. Solche neu erzeugten, extrapolierten Datenpunkte werden von SHAP und LIME ebenfalls für die Berechnung einer Erklärung berücksichtigt und können es dadurch verfälschend beeinflussen: Das zu erklärende Modell hat vermutlich nie etwas über "auffällig leichte Riesen" gelernt und reagiert potenziell zufällig: Eine abgeleitete Erklärung ist dann ebenfalls zufällig. In so einem Fall ist von der Nutzung pertubationsbasierter XAI-Verfahren eher abzuraten.

„Ist diese XAI-Methode für meinen konkreten Anwendungsfall geeignet? Wann ist welche XAI-Methode geeignet?“ Diese Fragen lassen sich weder anhand der wissenschaftlichen Literatur noch der behördlichen Richtlinien zur Steigerung der Modellinterpretierbarkeit klar beantworten.

Kommerzielle, an spezielle Plattformen gebundene XAI-Tools (wie bspw. H2O.ai oder die WhatIf-Tools von Google) versuchen Nutzer:innen bei der Anwendung von XAI-Methoden zu unterstützen. Sie sind allerdings oft komplex, generalisieren stark und setzen zudem datenwissenschaftliche Kenntnisse voraus. Sprich: Sie lassen die Nutzerin mit dieser Komplexität allein. Das macht die Hürde zur tatsächlichen Anwendung bzw. Umsetzung von vertrauenswürdiger, erklärbarer KI für die Modellersteller oder -verantwortlichen sehr groß.

Der viadee XAIR (XAI Recommender) als „Treibmittel“ zur Auseinandersetzung mit XAI

Im Rahmen einer von der viadee betreuten Masterthesis wurde ein Empfehlungssystem erstellt, das die Auswahl und Anwendung von XAI-Methoden erleichtert: XAIR, der viadee XAI Recommender. Aktuell werden die wohl bekanntesten sieben Verfahren berücksichtigt, weitere können allerdings einfach eingepflegt werden. Für eine Empfehlung werden eignungsbeeinflussende Eigenschaften des Modell-, Daten- und Nutzungskontexts berücksichtigt, die der Nutzer über eine Weboberfläche eingeben kann.

Da der XAIR mit der approximativen Fuzzy Logik arbeitet, kann auch mit einer ungefähren Eingabe dieser Werte eine konkrete sinnvolle Methode ermittelt werden. Auch ohne tiefe Machine Learning- oder XAI-Kenntnisse kann er leicht bedient werden.

Das Recommender-System besteht aus expliziten Wenn-Dann bzw. je-desto-Regeln und kann so selbst gut nachvollzogen und erweitert werden.

Wozu können Sie den XAIR nutzen?

Das Werkzeug richtet sich sowohl an Data Scientist:innen (die KI-Modelle verstehen müssen, um sie zu verbessern) als auch an Data Science-Projektleiter:innen und die Revision (die KI-Modelle verstehen müssen, um sie freizugeben oder zu bewerten):

• Wenn Sie ein konkretes ML-Modell haben, dessen Funktionsweise oder Entscheidungen sie nachvollziehen wollen (für Einzelfälle oder das ganze ML-Modelle).
• Wenn Sie dafür eine begründete Methodenempfehlung für ihren konkreten Anwendungsfall haben möchten.
• Wenn Sie einen generellen Überblick benötigen, wann Sie welche XAI-Methode verwenden können.
• Wenn Sie Zeit bei der Informationsbeschaffung rund um XAI sparen wollen
  • .. und den XAIR durch das dort gebündelte Expertenwissen als Nachschlagewerk für XAI-Methoden verwenden
  • … oder Sie Vorschläge konkreter Implementierungen und technischer sowie methodischer Aspekte suchen.
• Wenn Sie Ihre Erfahrung mit XAI-Verfahren und deren Implementierungen teilen und deren Anwendung fördern möchten.
  
  

Neugierig?

Gerne können Sie den XAI Recommender gern ausprobieren – über Feedback würden wir uns sehr freuen!
Helfen Sie uns, Informationen bezüglich XAI zugänglich zu machen und Interessierte zur Anwendung zu befähigen!

Das Open-Source Projekt XAI-Recommender ist auf GitHub zu finden und freut sich über Community-Beiträge und einem Zuwachs an neuen XAI-Methoden! 

Lesen Sie mehr über die Leistungen der viadee im Themenbereich Data Science.