Semantic Navigation

Ausgangssituation

Autonome Mobile Roboter (AMR) führen Transportaufgaben in der Logistik selbstständig durch. Hierbei navigieren sie in einem dynamischen Umfeld (mit Routenzügen, Gabelstaplern, Personen etc.). Die autonome Navigation nutzt typischerweise 2D-Laserscanner zur Erfassung der Umgebung. Jedoch sind deren Umgebungsinformationen begrenzt, sodass keine zuverlässige Erkennung von Semantiken möglich ist.

Für einen reibungslosen Betrieb muss das Roboterverhalten aber situativ an das Umfeld angepasst werden, sodass bspw. Routenzüge Vorfahrt erhalten. Für Routenzüge, Gabelstapler etc. gibt es jedoch noch keine Objekt- oder Bilddatenbanken. Deshalb können verfügbare KI-Modelle diese Objekte noch nicht wahrnehmen.

Lösungsidee

Ein komplexes Verständnis der Umgebung kann mithilfe von visuellen Perzeptionsalgorithmen generiert und in einem vom Fraunhofer IPA entwickelten Umgebungsmodell verwaltet und analysiert werden. Dies wird ermöglicht, wenn es gelingt, State-of-the-art-KI-Methoden zu adaptieren, um die relevanten Objektklassen zu erkennen. Die Erkennungsalgorithmen sollten dann auf dem Roboter implementiert werden, um die Leistungsfähigkeit und Ausführungszeit zu beurteilen.

Nutzen

Umgebungsperzeption (also die KI-basierte Klassifizierung von Objekten) stellt Wissen für »Decision Making« und »Planning« bereit, sodass die kognitive Intelligenz der Roboter gesteuert werden kann. Roboter können zukünftig zwischen Objekten in der Umgebung differenzieren, sodass abhängig von der Semantik die Navigationsplanung angepasst werden kann. Das aggregierte Wissen ermöglicht die Erstellung von Heatmaps, sodass hochfrequentierte Bereiche zu Stoßzeiten vermieden werden können. Das steigert die Produktivität. Im Rahmen des Exploring Projects (der auf dem gleichnamigen Quick Check aufbaut) wurde das Objekterkennungsmodell auf dem Roboter eingesetzt, damit dieser sich der ihn umgebenden Objekte bewusst wird und er ihre 3D-Position kennt. Das Modell muss schnell sein, damit es zusammen mit den von LiDAR-Sensoren oder einer Tiefenkamera bereitgestellten Tiefendaten im Navigationsstack von Node integriert werden kann.

Umsetzung der KI-Applikation                                             

• Das Neuronale Netzwerk aus dem Quick Check wurde hinsichtlich seiner Geschwindigkeit optimiert, indem es in TensorRT konvertiert wurde.

• Deployment Code wurde für CPU, CUDA und Jetson generiert.

• Das Repository ist vollständig containerisiert, damit es einfach bereitgestellt werden kann.

• Getestet wurden die Algorithmen auf dem Nvidia-Modul Orin und auf dem echten Roboter.

• Die Dokumentation ist im Repository bereitgestellt.

• Die Begrenzungsrahmen der erkannten Objekte lassen sich verfolgen.

Testimonial

»Die Arbeit, die Cagatay Odabasi und das Fraunhofer IPA im Rahmen des Exploring Projects geleistet haben, hat uns enorm geholfen, in kürzester Zeit modernste Computer-Vision-Modelle auf maßgeschneiderten Industriedatensätzen für die Intralogistik zu trainieren und Prototypen zu erstellen. Dies hat uns wertvolle Erkenntnisse geliefert, um entscheiden zu können, wie wir in diesem Bereich weiter vorgehen wollen.« - Abhilash Kumar, NODE Robotics