Visualisierung der Entscheidungsfindung Neuronaler Netze

Ausgangssituation

IDS hat eine Trainingsplattform entwickelt, die es Fachexperten ermöglicht, durch Hochladen eigener Bilddaten Neuronale Netze zu trainieren. Trotz hoher Genauigkeiten der eingesetzten Neuronalen Netze gestaltet sich eine Diagnose im Fehlerfall oftmals schwierig und hemmt so die Verbreitung der Algorithmen. Eine von IDS entwickelte intuitive Visualisierung in Form sogenannter Attention Maps (Heat Maps) soll ermöglichen, kritische Entscheidungen leichter nachzuvollziehen, um damit die Akzeptanz Neuronaler Netze im industriellen Umfeld zu erhöhen. Um die Leistung des Heat Map- Verfahrens bewerten zu können, fehlt ein verlässliches Standardverfahren, welches die Ansprüche einer industriellen Umgebung repräsentiert.

Lösungsidee 

Ziel ist es, zu überprüfen, ob durch den Einsatz von Attention Maps Adversarial Attacks sowie verzerrte (engl. biased) Vorhersagen des Neuronalen Netzes erkannt werden können. Zu diesem Zweck werden verschiedene Methoden zur Erzeugung von Attention Maps anhand zuvor definierter Metriken miteinander verglichen. Um die Prüfung durchführen zu können, müssen zudem Techniken zur Erzeugung von Adversarial Attacks und zur Erstellung Neuronaler Netze mit künstlichen Fehlern (Bias) eingesetzt werden. Vielversprechende Techniken und Metriken können zu einem Testprozess zusammengeführt werden, welcher die Güte von Heat Map-Verfahren nachvollziehbar quantifiziert.

Nutzen

Durch die von IDS bereitgestellte Trainingsplattform kann ein Fachexperte sein Wissen über die Bildinhalte in einen Algorithmus einfließen lassen, um diesen stetig anzupassen und zu verbessern. Eine intuitiv zu verstehende Visualisierung der Aufmerksamkeit des Neuronalen Netzes ermöglicht es Nutzern, schnell Fehler nachzuvollziehen und Schwachstellen im Datensatz zu finden. Die evaluierten Heatmap-Techniken visualisieren die Bildbereiche, welche für die Entscheidung durch das Neuronale Netz besonders relevant sind. Diese Visualisierungen ermöglichen es einem Laien, zu erkennen, wie die trainierten Netze funktionieren, was langfristig zu einer erhöhten Akzeptanz Neuronaler Netze im industriellen Umfeld führen wird.

Umsetzung der KI-Applikation

Die Umsetzung wurde mit dem öffentlich zugänglichen ImageNet-Datensatz durchgeführt. Um Bias und Adversarial Attacks zu erkennen, wurde ein verzerrtes Netz trainiert und mit Rauschmustern überlagerte Bilder generiert. Des Weiteren wurden Bewertungsmetriken zur Messung der Qualität der erzeugten Attention Maps entwickelt. Zur Evaluation der beiden Use Cases wurden drei Methoden zur Erzeugung von Attention Maps auf verschiedene Netzarchitekturen angewandt und die erzeugten Heat Maps mithilfe der Metriken bewertet. Die Ergebnisse zeigen, dass Attention Maps verzerrte Vorhersagen kenntlich machen und Hinweise auf Adversarial Attacks liefern können. Die erarbeiteten Methoden helfen IDS dabei, eigens entwickelte Heat Map-Verfahren zu evaluieren und optimieren.

Ausgangssituation

Sogenannte Aufmerksamkeitskarten (engl. Attention Maps) ermöglichen die visuelle Hervorhebung von Bildregionen, die für die Entscheidung eines neuronalen Netzes von Bedeutung waren. Diese intuitive Visualisierung soll es ermöglichen, kritische Entscheidungen leichter nachzuvollziehen, um damit die Akzeptanz neuronaler Netze im industriellen Umfeld zu erhöhen. IDS hat eine Trainingsplattform entwickelt, die es Fachexperten ermöglicht, durch Hochladen eigener Bilddaten neuronale Netze zu trainieren. Die Plattform soll unter anderem die Anzeige von Aufmerksamkeitskarten bereitstellen. Für die Erstellung der Aufmerksamkeitskarten hat IDS einen eigenen, bereits als Prototyp verfügbaren Hochleistungsalgorithmus zum Einsatz auf ihrer Edge-Kamera IDS NXT rio entwickelt. Der Algorithmus hat den Anspruch, Aufmerksamkeitskarten unter Berücksichtigung des Ressourcenverbrauchs in Echtzeit zu berechnen.

Erste Ergebnisse des Quick Checks haben gezeigt, dass es möglich ist, mit Aufmerksamkeitskarten Hinweise auf Verzerrungen im Datensatz und Datenmanipulationen zu erhalten. Ziel dieses Exploring Projects war es daher, die Ergebnisse aus dem Quick-Check mit Hilfe eines systematischen Testverfahrens zu bestätigen. Zu diesem Zweck wurden speziell Verzerrungen und Manipulationen von Daten in Datensätze eingebracht und Metriken zur Beurteilung der Genauigkeit ihrer Erkennung mittels Aufmerksamkeitskarten festgelegt. Besonderes Augenmerk wurde auch auf die Wahl der Methoden zur Erstellung von Aufmerksamkeitskarten sowie auf die Metriken, die als Grundlage für den Vergleich der Ergebnisse dienen, gelegt.

Lösungsidee 

Um die Leistungsfähigkeit der intern von IDS entwickelten Methode zur Visualisierung von Aufmerksamkeitskarten zu validieren, sollte mit diesem Projekt ein reproduzierbarer und vergleichbarer Test zur Validierung der Genauigkeit verschiedener Methoden der Aufmerksamkeitskartenextraktion bei verzerrten Datensätzen und Adversarial Attacks entwickelt werden. Ein solcher Test bildet das Fundament zur weiteren gezielten Optimierung von Visualisierungsverfahren.

Nutzen

Die Untersuchung der Aufmerksamkeitskarten eines neuronalen Netzes sorgt für eine größere Transparenz im Prozess der Bewertung der Leistung und Validität eines neuronalen Netzes und gewährleistet zudem ein höheres Maß an Robustheit. Je schneller Fehler nachvollzogen und Verzerrungen im Datensatz gefunden werden können, desto gezielter kann der Datensatz verbessert werden. Ein reproduzierbarer und vergleichbarer Test, welcher die Präzision verschiedener Verfahren zur Aufmerksamkeitsvisualisierung validiert, wird insbesondere im industriellen Umfeld die Akzeptanz dieser Verfahren erhöhen und damit auch die Akzeptanz von neuronalen Netzen. Unabhängig von der Art der untersuchten Anwendungsfälle können die vorgeschlagenen Methoden auf eine Vielzahl anderer Kontexte übertragen werden. Dadurch wird für unterschiedliche Anwendungsfälle mit geringem Aufwand ein höherer Grad der Nachvollziehbarkeit der trainierten Algorithmen ermöglicht.

Umsetzung der KI-Applikation

Das Projekt war aufgeteilt in vier Phasen: die Erstellung der Datensätze, das Training der Modelle, die Erstellung der Aufmerksamkeitskarten und die Qualitätsbewertung. Es wurden zwei beispielhafte Anwendungskontexte definiert, die es erlauben, verzerrte Datensätze und Adversarial Attacks künstlich nachzubilden. Beide Anwendungsbeispiele sind dem Kontext der Lebensmittelindustrie zuzuordnen. Im ersten Fall wurden die verzerrten Daten durch entsprechendes Einbringen von Aufklebern auf eine Frucht erzeugt. Im zweiten Anwendungskontext wurden stattdessen verzerrte Daten durch eine geeignete Hintergrundvariation erzeugt. Für die Erzeugung von Adversarial Attacks wurden zudem die zuvor generierten Bilddaten mit einem kaum wahrnehmbaren Störmuster überlagert. Für jeden gewählten Anwendungskontext wurden die Datensätze dynamisch erstellt, indem eine verzerrte (biased) und eine unverzerrte Version der Daten erstellt wurde. Die entwickelte Methode ermöglicht, mit minimalen Modifikationen, die Übertragbarkeit auf andere Anwendungskontexte. Die erzeugten Datensätze wurden im Anschluss sowohl für das Training neuronaler Netze als auch für die Erstellung verschiedener Aufmerksamkeitskarten verwendet. Unter Zuhilfenahme unterschiedlicher Metriken wurden zuletzt eine Analyse und ein Vergleich der generierten Aufmerksamkeitskarten durchgeführt.

Durch die Entwicklung standardisierter Verfahren zur Datenverzerrung und -manipulation wird eine Basis für die Vergleichbarkeit unterschiedlicher Aufmerksamkeitskarten gelegt. Die eingeführten Metriken erlauben eine quantitative Bewertung und stellen einen Ausgangspunkt für die gezielte Optimierung der Verfahren dar. In Zukunft kann so eine Referenzdatenbank von Aufmerksamkeitskarten erzeugt werden, die es Anwendern ermöglicht, nach eindeutigen Kriterien den Algorithmus zu wählen, der sich am besten für das individuelle Szenario eignet.