Realisierung

In 4 Schritten

Situationserfassung

Zur Erfassung der Verkehrssituation und somit der Identifikation relevanter Verkehrsteilnehmer eignen sich bspw. fahrzeugeigene Kameras für den Außen- und Innenraum. Gerade für automatisierte Fahrfunktionen wie die Längs- und Querführung eines AV oder die Hinderniserkennung ist eine solche On-Board-Sensorik zur Erfassung der Umgebung zwingend notwendig. Für die Detektion relevanter Verkehrsteilnehmer eines Kommunikationsvorganges gilt zu prüfen, inwieweit hier bestehende Systeme verwendet werden können. Dabei sind vor allem die Position des VRUs (potentiell nah und seitlich am Fahrzeug und nur schwach beleuchtet) und die zu detektierenden Merkmale von Bedeutung und bisher nicht berücksichtigt. Dies gilt sowohl für den Außenraum und die Erfassung der VRUs, als auch für den Innenraum und die Beobachtung der Insassen. Um die Intention der beteiligten Partner zu interpretieren, müssen bestimmte Merkmale wie Körperhaltung oder Kopfbewegung erfasst werden können.

Zur Unterstützung der Entscheidung, welcher Verkehrsteilnehmer für die Kommunikation relevant ist, sollen dem AV aufbereitete Informationen aus der Umwelt zur Verfügung gestellt werden. Eine Vorauswahl potentieller Kommunikationsteilnehmer basierend auf Metadaten aus externen Quellen erleichtert hierbei die Manöverplanung des automatisierten Fahrzeuges. Im urbanen Raum eignen sich hierfür Sensoren der Infrastruktur. Diese können jeweils stationär VRUs erfassen und basierend auf verschiedenen Informationen Daten vorfiltern und somit aufbereitet dem betreffenden Fahrzeug übermitteln. Für diesen Prozess eignen sich Verfahren der KI, welche anwendungsspezifisch zu validieren sind. Dem AV stehen folglich zusätzliche Umgebungsinformationen zur Verfügung, um die jeweilige Situation interpretieren zu können. Welche Sensoren sich hierbei am besten eignen, soll im Rahmen des Projektes untersucht werden. Ferner ist zu validieren, inwieweit Echtzeitanforderungen Cloud-Lösungen zulassen bzw. welche Kommunikationspfade sich für die Datenübertragung zwischen Infrastruktur und Fahrzeug eignen und welche Datenmengen zu übertragen sind. Nicht zuletzt sollen die externen Daten der Infrastruktur wie erwähnt vorverarbeitet und mit Daten des Fahrzeuges KI-basiert fusioniert werden, um die Situationserfassung und Manöverplanung des AV bestmöglich zu stützen.

Der Projektteil trägt somit maßgeblich zu einer vernetzten und verbesserten Umfelderfassung, -interpretation und Manöverplanung bei. Methoden der KI werden dabei für eine intelligente Datenverarbeitung und Fusionierung eingesetzt. Die Auswertung infrastruktureller Daten erfolgt dezentral und unter Berücksichtigung kritischer Übertragungszeiten. Relevante und selektierte Daten werden dann mit dem AV fusioniert.

schritt 2

Intentionserkennung und Entscheidung

Basierend auf der zu realisierenden Situationserfassung muss im Rahmen des Projektes eine Intentionserkennung erfolgen, um den VRUs situativ angepasste Informationen zur Verfügung zu stellen. Steht bspw. ein Fußgänger an einer Straße und möchte diese überqueren, sollte ein nahendes AV diesen (gestützt durch externe Daten) detektieren und die Querungsabsicht erkennen. Erst so kann eine situativ angepasste Interaktion erfolgen. Außerdem sollte das AV die Handlungen seiner Insassen erkennen und auch diesen entsprechende Informationen zur Verfügung stellen. Liest der Insasse bspw. gerade ein Buch und bekommt von dem bevorstehenden Manöver nichts mit, so sind gegebenenfalls auch keine Informationen nötig. Verfolgt der Insasse jedoch das Verkehrsgeschehen und möchte sogar aktiv in dieses eingreifen, so sind entsprechende Informationen bzgl. erkannter relevanter Verkehrsteilnehmer und geplanter Interaktionen hilfreich oder sogar erforderlich. Für die Interpretation der erfassten Daten (Intentionserkennung) sollen dabei Methoden der KI verwendet werden. Dies gilt sowohl für die VRUs als auch für die Insassen. Eventuellen Übernahmeprozesse sollen so optimiert oder ggf. auch verhindert werden, wenn das AV eine sichere Manöverplanung realisieren kann.

schritt 3

Für den Einigungs- und Entscheidungsprozess sind verschiedene Aspekte wie der Verkehrsfluss, Handlungsabsichten der beteiligten Personen und eine eineindeutige Identifikation zu berücksichtigen. Im Rahmen des Projektes wird ein Modellierungsansatz etabliert, welcher die Grundlage für die Verhandlung zwischen den Teilnehmern und somit die Entscheidungsfindung darstellt. Gestützt durch externe Metadaten bildet dieser Prozess die Grundlage für die zu übermittelnden Botschaften. Auch dieser Schritt wird mittels Methoden der KI gestützt, um die notwendige Interaktionsmöglichkeit durch das Fahrzeug zu realisieren. Hierbei kann gegebenenfalls in einem weiteren Schritt über Kommunikationsnetze auch ein Multi-Agenten-Verhalten berücksichtigt werden.

Kommunikation

Für die Interaktion zwischen Mensch und Maschine muss sichergestellt werden, dass die Botschaften der automatisierten Verkehrsteilnehmer allgemeingültig wahrgenommen und interpretiert werden können. Hierfür sind intuitive und verständliche HMI-Systeme nötig, welche den verschiedenen Nutzergruppen entsprechende Informationen bereitstellen. Im Rahmen des Projektes müssen Darbietungspositionen analysiert und Informationen entsprechend der Bewegungsgeschwindigkeit (bspw. Fußgänger oder Radfahrer) angepasst werden. Semantische Bedeutungen verschiedener Signale sind dabei ebenso zu berücksichtigen wie verschiedene Nutzergruppen. Dies gilt insbesondere für die Kommunikation des AV mit schwächeren Verkehrsteilnehmern. Zugleich müssen jedoch auch die Insassen über geplante Manöver und erkannte Interaktionssituationen informiert werden, da deren Eingreifen in die Situation unter Umständen eine Gefahrenquelle darstellt. Beide HMI-Systeme müssen dabei synchronisiert werden, um alle beteiligten Personen den gleichen Informationsstand zu liefern.

schritt 4

Nicht zuletzt muss sichergestellt werden, dass die HMI-Systeme unter allen Bedingungen wahrgenommen werden können. Es sind Systeme zu konzeptionieren und zu entwickeln, die unter verschiedenen Blickwinkeln und Helligkeitsbedingungen (Tag vs. Nacht) sicher erkannt und interpretiert werden können. Darüber hinaus soll im Sinne einer Interaktion eine Kommunikation zwischen den Verkehrsteilnehmer möglich sein, die über das bloße Senden einer Botschaft – z.B. in Form eines Statussignals des AV – hinausgeht. Letzteres soll dabei zugleich als unabhängige Variable in den geplanten empirischen Untersuchungen berücksichtigt werden, um zukünftige, potentiell verpflichtende, Statusanzeigen automatisierter Fahrzeuge zu berücksichtigen. Ferner muss die KI-basierte Synchronisation der externen und internen Systeme (externes und internes HMI) bei der Konzeptionierung berücksichtigt werden.

Fusion der Schritte 1 bis 3 / Demonstration

Für die dargestellten Prozessschritte eignen sich Methoden der KI, da Daten verschiedener Sensoren und Quellen intelligent verarbeitet und fusioniert werden müssen. Methoden der KI sollen dabei zum einen die Interpretation einzelner Sensordaten übernehmen (z.B. Gesten- und Intentionserkennung von VRUs). Zum anderen müssen die Daten der verschiedenen Quellen im Rahmen einer Gesamteinschätzung der Situation fusioniert ausgewertet werden. Darauf aufbauend müssen die HMI-Systeme gesteuert und in einem iterativen Prozess zwischen allen Verkehrsteilnehmern abgestimmt werden. Die zentrale Steuerung dieses von vielen Parametern abhängigen Kommunikationsprozesses ist hierbei entscheidend für die reibungslose Interaktion aller Verkehrsteilnehmer und somit Grundlage für einen optimalen Verkehrsfluss. Um das Zusammenwirken aller Systeme und Prozesse zu validieren und zu demonstrieren, wird im Rahmen des Projektes ein Demonstrator aufgebaut. Dieser wird auf der Teststrecke der aufzubauenden Infrastruktur erprobt und zur Gesamtvalidierung genutzt. Zum Projektende liegen somit ein funktionsfähiges Testfeld und ein Demonstrationsfahrzeug vor, welches die HMI-Systeme beinhaltet.

Nicht zuletzt sind im Rahmen einer Kooperation zwischen Mensch und Maschine rechtliche und ethische Fragen zu klären. Dabei müssen sowohl Aspekte des Datenschutzes als auch der Haftung diskutiert werden. Technische Lösungen müssen dabei rechtlichen Grundanforderungen standhalten, um später vermarktet werden zu können. Gleiches gilt für ethische Fragestellungen, welche ebenfalls im Rahmen des Projektes adressiert werden. Für die Nachweisbarkeit der Aktionen werden im Projekt Dokumentationsmöglichkeiten der Interpretation und Interaktion implementiert.

neuigkeiten zum projekt