In diesem Interview stellen wir heute statt einer Person unseren Software Campus-Alumnus Dr. Moritz Fuchs und -Teilnehmer Yannik Frisch vor.
Beide promovier(t)en an der TU Darmstadt im Bereich Computer Vision und forschen an der Erstellung synthetischer Datensätze für hochgradig realistische Simulationen, die für die Ausbildung in der Kataraktchirurgie verwendet werden können.
Dr. Moritz Fuchs leitete das Projekt UC4S2R: KI-basierter Transfer zwischen Simulation und realer Augenchirurgie unterstützt von Unsicherheitsanalyse.
Yannik Frisch leitet das Projekt GRAPH-SIM: Kombination Generativer Modelle und Wissensgraph-Repräsentationen zur realistischen physikbasierten Simulation von Katarakt-Operationen.
Beide kooperier(t)en in ihren Software Campus-Projekten mit ZEISS als Industriepartner. Das Besondere: Yannik hatte bereits als Masterstudent an einem anderen Projekt von Moritzmitgearbeitet, und später als Wissenschaftlicher Mitarbeiter an Moritz Software Campus-Projekt, welches er nun mit einer anderen Vertiefung als Promovierender seinem eigenen Software Campus-Projekt weiter fortführt und leitet.
Moritz, wie war für dich die Suche nach Mitarbeitenden für dein Software Campus-Projekt?
Moritz: Das war nicht so leicht, denn es war immer noch Corona-Zeit. Die Ausschreibung war nicht wirklich erfolgreich, sodass ich losgegangen bin und Personen direkt angesprochen habe, ob sie generell an einem PhD interessiert sind. Danach habe ich geguckt, ob die Kandidat*innen passende Erfahrungen mitbringen. Yannik hat bei uns in dem Jahr schon als HiWi gearbeitet, daher wusste ich, dass er mit normalen KI-Modellen gut umgehen konnte. Zusätzlich hat er auch Erfahrung mit generativen Modellen, was so niemand anderes hatte. So konnte ich ihn früh einbinden, auch schon bevor wir die finale Fassung der Projektbeschreibung einreichen konnten.
Yannik, woran genau forschst du und wie baut dein Projekt auf das von Moritz auf?
Yannik: Moritz Projekt ist der Grundstein für meine Forschung in meiner Dissertation. Natürlich gibt es dort auch Limitationen, wir haben ja eine Simulation geschaffen für chirurgische Daten. Wenn man das allerdings mit anderen Simulationstechniken vergleicht, gibt es noch relativ wenig Kontrolle darüber, was wirklich generiert wird, auch wenn es schon sehr realistisch aussieht. Meine Forschung befasst sich viel mit den Fragen: Wie können wir diesen Kontroll-Aspekt wieder herstellen? Wie können wir das, was wir wirklich wollen, simulieren? Es gibt allerdings noch weitere, viele interessante Forschungsrichtungen, die in meinem Software Campus Projekt bearbeitet werden, beispielsweise: Wie können wir konsistente, vollständige Videos von solchen chirurgischen Verfahren simulieren? Wie können wir andere medizinische Domänen nochmal angehen? Wie können wir auch von dem profitieren, was wir bisher schon herausgefunden haben und vielleicht alles noch verbessern?
Wie war für euch bisher die Zusammenarbeit mit eurem Industriepartner Zeiss?
Moritz: Aus meiner Perspektive war das immer sehr positiv; grundsätzlich sehr konstruktiv und offen für Ideen. Man kriegt auch sehr frühzeitig Feedback von Zeiss, was wirklich sehr angenehm ist. Die Ideen werden herausgefordert und auf den Prüfstand gestellt.
Bevor wir die finale Vorhabenbeschreibung für mein Projekt eingereicht hatten, wurde das nochmal auf den Prüfstand gestellt und da sind ein paar Sachen aufgefallen, die wir ein wenig ändern wollten. Ein Beispiel: Wir waren uns sicher, dass die generativen Modelle schon unglaublich gut darin sind, realistische Bilder zu generieren, die man kaum von echten Bildern unterscheiden kann. Die Idee war daher, die Stärken dieser Modelle zu nutzen, um sie kontrollierbarer und steuerbarer zu gestalten, eben mit der Uncertainty Estimation.
Wir hatten aber keinen effektiven Kontrollmechanismus, um zu kontrollieren, dass das, was die Uncertainty Estimation sagt, dann auch wirklich generiert wird. Also haben wir das Projekt ein bisschen umgebaut, sodass wir zuerst überprüft haben, ob wir Bewegungen von einem Video in ein anderes Video effektiv transferieren können – also die Steuerung von Bewegung innerhalb von Videos adaptieren, zwischen verschiedenen Modalitäten. In einem weiteren Paper haben wir Werkzeuge und auch verschiedene OP-Phasen gezielt generieren konnten. Danach haben wir dann die Uncertainty Estimation genutzt, um dies zu automatisieren, was jetzt auf der WAVC, publiziert wurde. Die Steuerbarkeit des Ganzen hat Yannik noch viel weiter in seinem Projekt vertieft.
Yannik: Ich war auch sehr positiv überrascht von Ghazal Ghazaei‘s Engagement und dem Kontakt mit Zeiss. Mit zwei-wöchentlichen Meetings hatten wir da einen sehr regen Austausch. Was natürlich sehr hilft ist, dass Ghazal in einem verwandten Bereich arbeitet und ihre Erfahrungen und auch neue Ideen sehr gut einbringen kann.
Wie war für euch der Übergang der beiden Projekte, gab es Herausforderungen bei der Organisation? Könnt ihr uns ein paar Learnings mitteilen?
Moritz: Ich habe immer versucht Yannik, so gut wie möglich zu unterstützen, mit Mentoring, mit Ideen, mit Feedbacks zu seinen Ideen, usw. Das ging von der Projektbeschreibung bei der Unterstützung bei der Bewerbung los, auch bei der Abstimmung der Zusammenarbeit mit Zeiss.
Yannik: Was mir sehr geholfen hat, war der regelmäßige Austausch und das Wissen darüber, dass ich eine Ansprechperson für Folgefragen hatte. Wir saßen auch im gleichen Büro, das hat sich gut angeboten.
Ich fand es schwierig, meine eigene Forschung von dem Software Campus-Projekt, was ich jetzt betreue, abzusplitten und dem Ganzen eine eigene Richtung zu geben. Aber ich denke, das haben wir zusammen ganz gut gemeistert. Und, Moritz hatte es am Anfang angesprochen, das Finden und die Selektion von neuen Kandidat*innen empfand ich eher als Problem. Es gab beispielsweise 2- 3 Bewerber*innen, die grundsätzlich sehr gut gepasst hätten, die aber enttäuscht waren, als sie ihre Absage bekommen hatten. Hier habe ich gemerkt, dass durch eine klare, transparente Kommunikation die Wogen geglättet werden konnten, weil wir einen Kandidaten mit medizinischem Hintergrund hatten, der am besten auf das Projekt gepasst hat.
Yannik, bald steht dein Projektabschluss an. Kannst du uns etwas über deine Erfahrungen zunächst als HiWi und der anschließende Übergang zum Projektleiter erzählen bwz. Einblicke in diesen Perspektivwechsel geben?
Yannik: Es war schon eine Umstellung vom Masterstudenten hin zu einem Doktoranden. Aber im Allgemeinen habe ich eine sehr positive Erfahrung gemacht, was auch am kontinuierlichen Mentoring durch Moritz, aber auch durch meinen Doktorvater Dr. Anirban Mukhopadhyay, lag. Dieses kontinuierliche Feedback hat sehr geholfen, und wir konnten letztendlich schon sehr früh gute Ergebnisse erzielen und ich konnte als WiMi sehr viele Einblicke in die Forschung und Entwicklung von KI bekommen. Was mir an meiner Dissertation sehr gut gefallen hat, war die Zusammenarbeit mit dem klinischen Personal. Auch natürlich das viele Netzwerken auf den Konferenzen, wo ich viel lernen und mein eigenes Profil aufbauen konnte. Und zusätzlich besonders eben die Zusammenarbeit mit der Industrie durch das Software Campus-Projekt.
Was die Umstellung angeht, habe ich gemerkt, dass das Ganze ein Perspektivenwechsel erfordert. Am Anfang war ich die Person, die immer jemanden hatte, der mir kontinuierliches Feedback gegeben hatte. Ich muss jetzt selbst diese Person sein, aber auch da denke ich, dass ich durch das Mentoring recht gut vorbereitet bin und das Software Campus-Training unterstützt da auch nochmal zusätzlich. Ob es geklappt hat, das müsst ihr dann nächstes Jahr Ssharvien Kumar Sivakumar fragen, aber allgemein würde ich sagen es lief sehr glatt ab bei uns.
Habt ihr allgemeine Tipps für zukünftige Software Campus Teilnehmende?
Moritz: Frühzeitig anfangen! Sobald man durch die ersten paar Bewerbungsschritte durch ist, auch bevor man einen Industriepartner hat, kann man eigentlich schon anfangen eine Ausschreibung herauszugeben, und schauen, wer könnte passen und Personen ansprechen. Auch schon mal überlegen, welche Anforderungen habe ich eigentlich an die Person für die Stelle. Zugegebenermaßen, in diesem Projekt ist es speziell: Augenchirurgie ist nicht das Magenverträglichste, was man sich angucken mag. Wenn jemand kein Blut sehen kann, ist das nicht das Beste.
Klick hier, um das gesamte Interview zu lesen.
Ausgangssprache dieses Interviews: Deutsch
