Name des Teilnehmers: Thomas Pöllabauer
Beschreibung des IT-Forschungsprojekts: Rendering in der Computergraphik bezeichnet die Abbildung einer dreidimensionalen Szene auf eine zweidimensionale Ebene. Der Vorgang mimt den bildgebenden Prozess in realen Kameras nach, denn auch dort bilden wir die dreidimensionale Welt auf einen zweidimensionalen Sensor ab. In der Computer Vision versuchen wir, basierend auf diesen zweidimensionalen Abbildungen, etwas über die darin festgehaltene, dreidimensionale Welt zu erfahren. Es handelt sich bei den beiden Vorgängen also um zwei inverse Probleme.
Die Renaissance neuronaler Netzwerke führte zu einer Fülle an sehr leistungsfähigen Architekturen für Computer Vision, etwa zur Bildsegmentierung, Objektdetektion oder Objektposenbestimmung.
Neue Architekturen versuchen mittels Differentiable Renderings nicht nur Objekte zu detektieren, sondern auch relevante Eigenschaften wie Materialeigenschaften und Geometrie zu rekonstruieren. So kann aus einem einzelnen 2D Bild wieder ein 3D Objekt gewonnen werden.
Federated Learning bezeichnet das gemeinsame Lösen eines Lernproblems. Insbesondere wird versucht kooperativ zu lernen, ohne die zum Lernen nötige Datenbasis zu teilen.
DIFFED-Pose (Differentiable Federated Pose) kombiniert beide Ansätze, um in einem verteilten Setting die 6D Pose von Objekten zu rekonstruieren. Dazu wird ein auf Renderings vortrainiertes Modell vor Ort nachtrainiert. Differentiable Rendering wird genutzt um die aufgezeichneten Bilder automatisiert zu annotieren. Dieses Vorgehen ermöglicht eine Verbesserung der Performanz des Models im Vergleich zu einem ausschließlich auf synthetischen Bildern trainierten Modell, ohne dass potenziell vertrauliches Bildmaterial geteilt werden muss.
Software Campus-Partner: Fraunhofer Institut für Graphische Datenverarbeitung (IGD), Software AG
Umsetzungszeitraum: 1.2.2021-31.1.2022
