Abschlussbericht
FAHRZEUGKAMERAS
Innenkamera Fahrzeug
Advanced Occupant Monitoring System (AOMS)

Verarbeitungskette
Sensorpositions-unabhängige Aktivitätserkennung
- Aufbauend auf Robot Operating System 2 (ROS2)
- Module kommunizieren über Netzwerk
- Webbasierte Zustandvisualisierung
- Modularisierte Umsetzung bereits vieler User-Cases
- Umsetzung von Handgesten für INITIATIVE
- Videobasierte Verfahren generalisieren schlecht auf unbekannte Perspektiven
- Hypothese: Modulare 3D basierte Verarbeitungsketten generalisieren gut
- Test auf: Drive & Act

Weboberfläche des Advanced Ocupant Monitoring Systems

Sensorpositionierung Innenspiegel (IS), Beifahrer A-Säule (KIR)
Handgestenerkennung
- Neue Module im AOMS
- Handskeletterkennung
- Handgestenerkennung durch leichtgewichtiges Fully Connected Network
- Training mit wenigen Trainingsbeispielen möglich
- Erfasste Gesten: Hand heben, flache Hand, Zeigegesten, OK

Flache Hand

Zeigegesten

Hand heben

OK
Außenkamera Fahrzeug
VRU-Detektions und Intentionsschätzung

Verarbeitungskette des Fahrzeugs
Fußgänger Gestenerkennung
- Aufbauend auf Robot Operating System 2 (ROS2)
- Module kommunizieren über Netzwerk
- Webbasierte Zustandvisualisierung
- Open-set Klassifikation
- 24 verschiedene Gesten
- Training auf NTU-RGB+D (Labordaten)
- Gestenerkennung basierend auf Graph Convolutions (ST-GCN++)
- Genauigkeit: 85,98 % (Körperskelett),
94,96 % (mit Handskelett)

Ansichten

NTU-RGB+D Trainingssample
Fußgänger Kreuzungsverhalten
- Öffentliche Datensätze (JAAD, PIE)
- Multi-stream Ansatz
- Experiment zur Generalisierbarkeit via Bildtransformation mit Generative Adversial Networks (GANs)
