Adaption eines trainierten Modells für neue Sensorquellen

Ausgangssituation

Neuronale Netzwerke sollen zum autonomen Fahren von Kraftfahrzeugen eingesetzt werden. Diese werden häufig durch manuelle Fahrten trainiert. Hierbei nimmt ein Mess-System Daten von Sensoren auf, die dann zum Training der neuronalen Netze verwendet werden.

Dabei spielt die Platzierung und Kalibrierung der Sensoren eine wichtige Rolle, so zum Beispiel auch bei der Nutzung der generierten internen Modelle der neuronalen Netze. Gleiche Sensoren müssen an der gleichen Einbaustelle verwendet werden. 

Lösungsidee

Die Verwendung bereits trainierter Modelle und deren Anpassung an andere Kontexte könnte Vorteile im Technologieentwicklungsprozess bieten. Aus diesem Grund soll untersucht werden, ob es durch den Einsatz des Open-Source-Pilot-Systems Comma.ai möglich ist, den Einsatz dieses Systems durch die Verwendung von Sensoren ohne große Verluste in Bezug auf Leistung und Genauigkeit in Kauf zu nehmen.

Nutzen

Die Anwendung dieser Modelle auf LKWs würde wesentlich dazu beitragen, Kosten und Aufwand bei der Entwicklung von autonom fahrenden LKW zu sparen und damit die Entwicklung und den Einsatz solcher Systeme in kürzerer Zeit zu ermöglichen. Dies reduziert unter anderem die Notwendigkeit, weitere Strecken mit LKWs zu fahren, um eigene Modelle für den Einsatz in diesen zu generieren und zu trainieren. Dies trägt außerdem zur Nachhaltigkeit bei, weil Energieverbrauch und CO2-Erzeugung reduziert werden.

Umsetzung der KI-Applikation 

Ein erstes Konzept wurde in diesem Quick-Check mit dem Openpilot-System von Comma.ai als Testsystem verifiziert. In diesem Fall wurden die ursprünglich am PKW erfassten Daten durch Bilder der von Knorr Bremse gelieferten Kameras und Sensoren ersetzt, die von LKWs erfasst wurden.

Diese Daten wurden an die Spezifikationen des ursprünglichen neuronalen Netzwerks angepasst, das in diesem ersten Konzept unverändert blieb. Die Ergebnisse sind, dass das neuronale Netz, obwohl es für einen anderen Fahrzeugtyp trainiert wurde, eine korrelierte Ausgabe in Bezug auf Gaspedaldruck, Bremsdruck und Lenkwinkel bezüglich der bereitgestellten Eingabe liefert.

Ausgangssituation

Ein neuronales Netz (NN) spielt die Rolle eines fortschrittlichenSteuersystems, indem es sichere Fahrtrajektorien für ein fahrendes Fahrzeug vorhersagt und reguliert. Ein gutes NN-Modell wird oft mit einer Vielzahl von verschiedenen Sensoren stammenden Daten trainiert. Eine der Schwierigkeiten besteht darin, verschiedene Sensoren für jeden Datenerfassungsprozess zu kalibrieren, wobei zu berücksichtigen ist, dass die Kamera immer an exakt derselben Position und mit externen Parametern (Richtung, Standort) platziert wird. Motiviert durch das quelloffene autonome Fahrsystem »Openpilot« von CommaAI wird das präzise autonome Fahren im Anwendungsfall eines LKWs in Angriff genommen. Dies geschieht durch die Anpassung des bereits end-to-end trainierten neuronalen Netzes von openpilot namens »Supercombo«. Dieses Modell wurde beim Fahren eines Autos trainiert, hier für das Fahren eines LKWs modifiziert. Unterschiede zwischen Auto und LKW sind. Außerdem ist die Dynamik der Sensorbewegung aufgrund der Befestigung an der Fahrerkabine anders, da die Kabine in der Regel stärkere Nickbewegungen aufweist. Grundlegende Fragen sind, wie gute Modelle, die für einen Pkw trainiert wurden, auf einen Lkw übertragbar und welche Maßnahmen für eine solche Anpassung notwendig sind.

Lösungsidee

Nach dem Prinzip des »Fine-Tuning« werden kleine Mengen neuer Daten, GPS-Messungen, verwendet. Die trainierten Modellparameter von Supercombo im Pkw-Bereich werden als Ausgangsmodellparameter für den Lkw-Bereich verwendet. Ein wichtiger Schritt der Trainingsfunktion ist, dass lediglich die Trajektorien-Hypothese über die zukünftige Bewegung mit der kleinsten Abweichung zu den GPS-Mess-Trajektorien im nächsten Trainingsschritt zur Parameteroptimierung verwendet werden. Am Ende wird eine aussagekräftige Bewertungsmethode entwickelt.

Nutzen

Dieses Projekt bewies den Erfolg der Anpassung eines trainierten Modells an eine etwas andere Domäne nur mit einem kleinen partiellen Trainingsdatensatz (10 Minuten Fahrzeit als Trainingsdatensatz) für den Anwendungsfall des autonomen Fahrens. Die Supercombo-Architektur, die in Tensorflow 1 geschriebene Trainingsfunktion und die fein abgestimmten Modellparameter sind bereit für die neuen Anwendungsfälle des autonomen Fahrens. Die Anwendung dieser Modelle auf Lastkraftwagen würde einen großen Beitrag zur Kosten- und Aufwandsersparnis bei der Entwicklung von autonom fahrenden Lastkraftwagen leisten, da solche Systeme in kürzerer Zeit entwickelt und eingesetzt werden können. Dies reduziert unter anderem die Notwendigkeit, zusätzliche Strecken mit Lkw zu fahren, um riesige Trainingsdatensätze zu generieren, und ermöglicht das Training unserer eigenen Modelle auf der Basis eines vortrainierten neuronalen Netzes.

Umsetzung der KI-Applikation 

In diesem Projekt wird die „Fine-Tuning“ als grundlegender KIAnsatz verwendet, um das trainierte Supercombo onnx-Modell von CommAI an den LKW-Bereich anzupassen. Technisch gesehen ist die Trainingsfunktion für die Feinabstimmung in Tensorflow 1 geschrieben. Die Architektur verwendet ein gemeinsames Backbone, das sich in mehrere Fahrspur- und Wegvorhersagen aufteilt. Die Netzwerkschichten haben viele Sprungverbindungen mit dimensionaler Kodierung und GRUähnlichen Schichten zur Modellierung von Zeitreihendaten.