Fraunhofer-Gesellschaft | KI-Fortschrittszentrum »Lernende Systeme und Kognitive Robotik«
Fraunhofer-Gesellschaft | KI-Fortschrittszentrum »Lernende Systeme und Kognitive Robotik«

BOS Cam Gefahrguterkennung

Ausgangssituation

Feuerwehren nehmen während Gefahrguteinsätzen (u.a. bei Chemikalienaustritt) Bild- und Videodaten mit Hilfe der explosionsgeschützten BOS Cam auf und senden diese Daten an Einsatzleitung und Sachverständige, um eine Einschätzung der Lage und einen zielgerichteten und sicheren Feuerwehreinsatz zu ermöglichen. Bisher sind gängige Gefahrensymbole und Stoffnummern nur gut geschulten Feuerwehrleuten bekannt oder müssen sonst aufwändig in der Fachliteratur nachgeschlagen werden. Im Rahmen des Quick-Checks wurden existierende Methoden zur Lokalisierung von Logos und Segmentierung farbiger Objekte auf diese Anwendung angewandt und konnten so erste gute Ergebnisse erzielen, die im Rahmen des Exploring Projects weiter verbessert wurden.

Lösungsidee 

Eine automatisierte Erkennung und Klassifikation von Gefahren durch Chemikalien am Einsatzort anhand der Bilddaten kann die Entscheidungsphase stark beschleunigen. Daher sollen Machine Learning (ML) und klassische Algorithmen zur Extraktion von Gefahrgutklassifikationen und Stoffnummern von Warntafeln und Produktbeschriftungen eingesetzt werden. Die Kombination aus klassischen und modernen Methoden soll dabei die Robustheit des Gesamtsystems erhöhen und ein gesichertes Wissen durch Informationsfusion schaffen. Die durch das System erkannten Gefahreninformationen können dann in das bereits vorhandene GUI integriert werden und bieten so den Einsatzkräften eine Unterstützung bei der Einschätzung der Lage. Die Informationen werden dabei als Hilfestellung und nicht als endgültig angesehen. Eine Nutzerstudie soll durchgeführt werden, um die am besten unterstützenden Informationen in der bestmöglichen Darstellungsform zu präsentieren.

Nutzen

Die aufgezeigte Lösung trägt zu einer erhöhten Sicherheit von Feuerwehr und Katastrophenschutz in Gefahrguteinsätzen oder bei risikobehafteten Wartungstätigkeiten bei. Sie ermöglicht einen automatisierten Abgleich mit Chemiedatenblättern und -datenbanken. Der Ansatz ist zudem auf automatische Erkundungsprozesse erweiterbar.

Umsetzung der KI-Applikation

Die Herausforderungen bestehen in kaum vorhandenen, annotierten, realen Daten für den konkreten Anwendungsfall, sehr unstrukturierten und hochvarianten Umgebungen am Einsatzort und den nur begrenzt vorhandenen Rechenressourcen. Daher werden durch Methoden der Synthetisierung und Augmentierung zahlreiche geeignete Trainingsdaten generiert, anhand derer tiefe künstliche Neuronale Netze trainiert werden können. Durch dieses Vorgehen konnten anschließend in von BOS Connect gesammelten Testbildern aus realen Umgebungen rund 80 bis 90% der Gefahrpiktogramme lokalisiert und groben Gefahrklassen zugeordnet werden. Das System zur Erkennung der Gefahrpiktogramme wurde zudem so portiert, dass es auch auf einer rechenschwachen Hardware ausgeführt werden kann. Das Gesamtsystem folgt dem Prinzip einer hybriden KI und besteht demnach aus der Kombination von klassischen Verfahren und künstlichen Neuronalen Netzen. Unter anderem wird zusätzlich zu der trainierten Piktogramm-Erkennung eine Kombination aus Textleser und ROI-Proposal verwendet, welche eine eigene, wichtige Informationsquelle darstellen. Außerdem kann die knappe Rechenleistung durch ROI-Proposals auf die wichtigsten Bereiche fokussiert werden. Diese Proposals können bereits auf den Smartphones der Einsatzkräfte direkt vor Ort ausgeführt werden und anschließend die Informationen an die Einsatzleitung übertragen, um alle verfügbaren Berechnungskapazitäten zu nutzen. Existierende Text- Erkennungsverfahren wurden dahingehend erweitert, dass Wahrscheinlichkeiten für einzelne erkannte Ziffern an das Fusionsmodul übergeben werden. Dies ermöglicht ein automatisches Abfragen verschiedener Stoffe aus der Chemiedatenbank, wenn einzelne Zahlen nur mit einer geringen Konfidenz erkannt wurden. Durch eine Extraktion der am wahrscheinlichsten angegebenen Stoffe und durch eine Fusion mit den Informationen aus anderen Quellen, wie etwa ADR Gefahrgutpiktogramme, kann dann eine Auswahl an potentiell vorhandenen Stoffen mit der extrahierten Wahrscheinlichkeit an die Einsatzleitung kommuniziert werden.