Name des Teilnehmers: Julius Kühn
Beschreibung des IT-Forschungsprojektes: Mit Hilfe von Vision Transformern soll der Verkehr einer Smart City optimiert werden. Aktuell implementierte Lösungen des Projektpartners Volkswagen sind nicht in der Lage, Verkehrsteilnehmer in der Smart City Carmel über mehrere Kameras zu detektieren.
Ein konkretes Beispiel welche zwei wesentlichen Herausforderungen aufzeigt: Ein Verkehrsteilnehmer, der das Sichtfeld einer Kamera verlässt und im Sichtfeld einer anderen Kamera wieder erscheint, kann nicht als der gleiche Verkehrsteilnehmer identifiziert werden. Dem System fehlt das semantische Verständnis über mehrere Kameraperspektiven hinweg. Weiter führen Verdeckungen oft dazu, dass die Detektion von Objekten nicht mehr zuverlässig funktioniert.
Im Projekt kommt das von Meta AI zur Verfügung gestellte Segment Anything Model (SAM) zum Einsatz. SAM implementiert einen Vision Transformer als backbone und erlaubt durch Multi-modale Eingaben eine leichte Bedienung. Weiter dient es uns für die semantische Segmentierung sowie für die Objekt Verfolgung innerhalb eines Kamera Sichtfeldes. So kann mittels der Standorte der Kameras ermittelt werden in welche Richtung ein Objekt das Sichtfeld der Kamera verlässt und in welchem Sichtfeld einer anderen Kamera das Objekt wieder auftaucht. Durch diese Informationen soll der Verkehrsfluss in der Smart City Carmel optimiert werden, in dem Verkehrsströme verbessert werden, Unfällen vorgebeugt werden und Staus vermieden werden. So kann in Zukunft der Verkehr nachhaltiger gestaltet werden.
Software Campus-Partner: Fraunhofer-Verbund IUK-Technologie, Volkswagen
Umsetzungszeitraum:
