Deep Learning Ansätze ermöglichen die Erstellung hochpräziser Modelle für den Einsatz in unterschiedlichsten Anwendungsdomänen, etwa der Produktion oder Medizin. Allerdings haben diese Modelle Black-Box-Charakter, da die von ihnen gelernten Zusammenhänge so komplex und abstrakt sind, dass sie von Menschen – selbst von Experten – nicht mehr nachvollzogen werden können. Bei einigen Anwendungen, z.B. in sicherheitskritischen Bereichen, ist jedoch nicht nur die Genauigkeit der Vorhersagen, sondern auch das Vertrauen in die Algorithmen von enormer Bedeutung.
Aus diesem Grund widmen sich das Fraunhofer IPA und das Institut für Innovation und Technik (iit) in zwei aufeinander abgestimmten Studien gemeinsam dem Thema xAI (engl. »explainable AI«). Das iit befasst sich dabei mit der Frage des konkreten Bedarfs und der Nutzbarkeit von xAI in der Industrie oder auch im Gesundheitswesen. Dies umfasst einerseits eine Analyse der Anforderungen an Erklärungen unter Berücksichtigung von unterschiedlichen Branchen und Zielgruppen sowie der derzeitigen und zukünftig geplanten Verwendung von KI-Algorithmen. Andererseits werden generelle Stärken und Schwächen verschiedener xAI-Lösungsansätze angesichts dieser Anforderungen und anhand konkreter Anwendungsfälle aus der Industrie und aus Projekten des vom BMWi geförderten »Innovationswettbewerb Künstliche Intelligenz« aufgezeigt.
Das Fraunhofer IPA hingegen beschäftigt sich mit der Analyse derzeit populärer Erklärungsverfahren. Das breite Angebot, sowie eine fehlende Vereinheitlichung einer Schnittstelle zur praktischen Umsetzung der Methoden, macht eine Auswahl schwer. Es fehlen Übersicht und Bewertungskriterien, die es ermöglichen, die angebotenen Methoden angemessen einordnen zu können. Die Kategorisierung der ausgewählten Verfahren sowie deren Evaluation hinsichtlich diverser Bewertungskriterien soll es Lesern erleichtern, das passende Verfahren für ihren Anwendungsfall einzugrenzen.