Der Software Campus-Alumnus Dr. Moritz Fuchs und -Teilnehmer Yannik Frisch promovier(t)en an der TU Darmstadt im Bereich Computer Vision. Sie forschen an der Erstellung synthetischer Datensätze für hochgradig realistische Simulationen, die für die Ausbildung in der Kataraktchirurgie verwendet werden können.
Dr. Moritz Fuchs leitete das Projekt UC4S2R: KI-basierter Transfer zwischen Simulation und realer Augenchirurgie unterstützt von Unsicherheitsanalyse. Ziel des Projekts war es, äußerst realistische Simulationen zu erstellen, die für die Ausbildung von Chirurg*innen verwendet werden können. Durch die Integration von Unsicherheitsfaktoren in die Modelle wurde eine Form des autonomen Trainings ermöglicht. Durch die Iteration zwischen der Erzeugung von Bildern und dem Training an unsicheren oder seltenen Fällen konnte das Modell kontinuierlich verbessert werden.
Yannik Frisch leitet das Projekt GRAPH-SIM: Kombination Generativer Modelle und Wissensgraph-Repräsentationen zur realistischen physikbasierten Simulation von Katarakt-Operationen. Er kombiniert generative Modelle, die qualitativ hochwertige Bilder gewährleisten, mit physikbasierter Logik in Form von Graphen, welche eine realistischere Simulation von Interaktionen ermöglicht. So kann eine kontrollierbare und realitätsnahe Simulation für Assistenzsysteme und auszubildende Chirurgen erstellt werden.
Beide kooperier(t)en in ihren Software Campus-Projekten mit ZEISS als Industriepartner. Das Besondere: Yannik hatte bereits als Masterstudent an einem anderen Projekt von Moritzmitgearbeitet, und später als Wissenschaftlicher Mitarbeiter an Moritz Software Campus-Projekt, welches er nun mit einer anderen Vertiefung als Promovierender seinem eigenen Software Campus-Projekt weiter fortführt und leitet.
Wir haben mit ihnen über ihre Kooperation und den Perspektivwechsel gesprochen.
Das Interview wurde von Tiziana Maglia und Susanne Kegler durchgeführt.
Moritz, was war denn dein Beweggrund im Bereich Computer Vision und an deinem Projekt UC4S2R: KI-basierter Transfer zwischen Simulation und realer Augenchirurgie unterstützt von Unsicherheitsanalyse zu forschen?
Moritz: Meine grundsätzliche Motivation, warum ich den Software Campus und das Framework gewählt habe war, weil es eine Brücke zwischen Forschung und Praxis ermöglicht, und ich denke, dass viel akademische Forschung nicht unbedingt in der Praxis ankommt.
Meine Dissertation beschäftigte sich vor allem mit der Frage: Wie kann man die Zuverlässigkeit von KI in verschiedenen Modellen erhöhen. Zugleich hatte ich durch meinen Master schon viel Erfahrungen mit bildgenerativen Modellen sammeln können – damals war es aber noch nicht so gut wie heute, das waren eher Smileys. Da kam bereits die Grundidee her, etwas mit Uncertainty Estimation zu machen um das Simulation-to-Real Problem für Chirurgie anzugehen. Simulation-to-Real bedeutet, dass man eine Simulationsumgebung oder ein KI-Modell hat, dass möglichst realistische Outputs generiert, sodass man eigentlich nicht wirklich unterscheiden kann, was Simulation oder was Reality ist.
Diese Lücke gering zu halten, damit Chirurg*innen oder Ärzt*innen mit der Simulation trainieren können – ohne direkten Patient*innenkontakt oder mit Plastikphantomen zu arbeiten, welche gute Alternativen, dennoch nicht realitätsnah sind – war ein sehr interessantes Ziel.
Im Bereich der Katarakt- oder Augenchirurgie – auch Grauer Star genannt – gab es gute öffentliche Datensätze, die sowohl Phasen und Tool Annotation als auch Segmentation geben. Also viele verschiedene Downstreamtasks auf denen sich generative Modelle evaluieren lassen, diese publizieren kann, sowie ausreichend große Bilddaten von einer guten Qualität bieten. Das ist nicht einfach zu bekommen und war daher die Grundvoraussetzung für das Thema, zeitgleich hat auch Zeiss daran geforscht. Zusätzlich hatten wir das Glück, dass unser Doktorvater Dr. Anirban Mukhopadhyay in allen Teilbereichen schon geforscht hatte und beratend mit Ideen zur Seite stehen, Feedback geben und Sachen miteinander verknüpfen konnte. Abgesehen davon war der Austausch mit Zeiss sehr gut und ehrlich, auch was Anpassungen zum Beginn betrifft. Dieses Komplettpaket hat es relativ einfach gemacht, dieses Projekt so zu starten.
Wie war für dich die Suche nach Mitarbeitenden für dein Software Campus-Projekt?
Moritz: Das war nicht so leicht, denn es war immer noch Corona-Zeit. Die Ausschreibung war nicht wirklich erfolgreich, sodass ich losgegangen bin und Personen direkt angesprochen habe, ob sie generell an einem PhD interessiert sind. Danach habe ich geguckt, ob die Kandidat*innen passende Erfahrungen mitbringen. Yannik hat bei uns in dem Jahr schon als HiWi gearbeitet, daher wusste ich, dass er mit normalen KI-Modellen gut umgehen konnte. Zusätzlich hat er auch Erfahrung mit generativen Modellen, was so niemand anderes hatte. So konnte ich ihn früh einbinden, auch schon bevor wir die finale Fassung der Projektbeschreibung einreichen konnten.
Yannik, hattest du schon länger vor zu promovieren oder hat sich das im Zuge der Zusammenarbeit mit Moritz ergeben?
Yannik: Für mich war schon relativ früh während des Studiums klar, dass ich anschließend auch gerne im Bereich KI forschen wollte. Ich habe einen Cognitive Science Studiengang (Kognitionswissenschaft) studiert und durch Moritz‘ Angebot im Medical-Imaging-Bereich konnte ich meine beiden Interessen für Humanwissenschaft – Medizin in dem Fall – und Technik, genauer gesagt KI, miteinander verknüpfen. Ich war also sehr happy, dass ich an diesem Projekt arbeiten konnte. Medical Imaging ist eines der höchsten Ziele, die ich mir vorstellen kann, denn ich forsche an Technik, die vielleicht irgendwann Menschen unterstützt. Außerdem erhoffe ich mir als PhD noch mehr Chancen auf dem Weg zur wissenschaftlichen Führungsposition. Die Trainings, beispielsweise des Software Campus, unterstützen mich dabei sehr gut.
Woran genau forschst du und wie baut dein Projekt auf das von Moritz auf?
Yannik: Moritz Projekt ist der Grundstein für meine Forschung in meiner Dissertation. Natürlich gibt es dort auch Limitationen, wir haben ja eine Simulation geschaffen für chirurgische Daten [1,2,3]. Wenn man das allerdings mit anderen Simulationstechniken vergleicht, gibt es noch relativ wenig Kontrolle darüber, was wirklich generiert wird, auch wenn es schon sehr realistisch aussieht. Meine Forschung befasst sich viel mit den Fragen: Wie können wir diesen Kontroll-Aspekt wieder herstellen? Wie können wir das, was wir wirklich wollen, simulieren? Es gibt allerdings noch weitere, viele interessante Forschungsrichtungen, die in meinem Software Campus Projekt bearbeitet werden, beispielsweise: Wie können wir konsistente, vollständige Videos von solchen chirurgischen Verfahren simulieren [4,5]? Wie können wir andere medizinische Domänen nochmal angehen? Wie können wir auch von dem profitieren, was wir bisher schon herausgefunden haben und vielleicht alles noch verbessern?
Wie war für euch bisher die Zusammenarbeit mit eurem Industriepartner Zeiss?
Moritz: Aus meiner Perspektive war das immer sehr positiv; grundsätzlich sehr konstruktiv und offen für Ideen. Man kriegt auch sehr frühzeitig Feedback von Zeiss, was wirklich sehr angenehm ist. Die Ideen werden herausgefordert und auf den Prüfstand gestellt.
Bevor wir die finale Vorhabenbeschreibung für mein Projekt eingereicht hatten, wurde das nochmal auf den Prüfstand gestellt und da sind ein paar Sachen aufgefallen, die wir ein wenig ändern wollten. Ein Beispiel: Wir waren uns sicher, dass die generativen Modelle schon unglaublich gut darin sind, realistische Bilder zu generieren, die man kaum von echten Bildern unterscheiden kann. Die Idee war daher, die Stärken dieser Modelle zu nutzen, um sie kontrollierbarer und steuerbarer zu gestalten, eben mit der Uncertainty Estimation.
Wir hatten aber keinen effektiven Kontrollmechanismus, um zu kontrollieren, dass das, was die Uncertainty Estimation sagt, dann auch wirklich generiert wird. Also haben wir das Projekt ein bisschen umgebaut, sodass wir zuerst überprüft haben, ob wir Bewegungen von einem Video in ein anderes Video effektiv transferieren können [1] – also die Steuerung von Bewegung innerhalb von Videos adaptieren, zwischen verschiedenen Modalitäten. In einem weiteren Paper haben wir Werkzeuge und auch verschiedene OP-Phasen gezielt generieren konnten [3]. Danach haben wir dann die Uncertainty Estimation genutzt [2], um dies zu automatisieren, was jetzt auf der WAVC, publiziert wurde. Die Steuerbarkeit des Ganzen hat Yannik noch viel weiter in seinem Projekt vertieft [4,5].
Yannik: Ich war auch sehr positiv überrascht von Ghazal Ghazaei‘s Engagement und dem Kontakt mit Zeiss. Mit zwei-wöchentlichen Meetings hatten wir da einen sehr regen Austausch. Was natürlich sehr hilft ist, dass Ghazal in einem verwandten Bereich arbeitet und ihre Erfahrungen und auch neue Ideen sehr gut einbringen kann.
Ihr habt ja auch mit Fachärzt*innen zusammengearbeitet. Kamen diese aus unterschiedlichen Bereichen und Krankenhäusern?
Yannik: Hauptsächlich waren das Ophthalmolog*innen aus Mainz, deren Expertise in der Kataraktchirurgie liegt. Für eine Veröffentlichung haben wir noch andere Mediziner*innen hinzugezogen und konnten so den Unterschied sehen, wie gut die Expert*innen aus der Augenchirurgie die Simulation von echten Daten unterscheiden können, und wie gut anderes medizinisches Personal.
Habt ihr in eurer Auswertung signifikante Unterschiede bemerkt?
Yannik: Ja minimal. Mathematisch signifikant waren sie nicht, aber es gab leichte Trends.
Moritz: Es ist generell extrem schwer herauszufinden, was KI-generiert wird und was nicht. Dementsprechend ist es keine leichte Aufgabe, selbst für ein Mediziner*innen.
Wie war für euch der Übergang der beiden Projekte, gab es Herausforderungen bei der Organisation? Könnt ihr uns ein paar Learnings mitteilen?
Moritz: Ich habe immer versucht Yannik, so gut wie möglich zu unterstützen, mit Mentoring, mit Ideen, mit Feedbacks zu seinen Ideen, usw. Das ging von der Projektbeschreibung bei der Unterstützung bei der Bewerbung los, auch bei der Abstimmung der Zusammenarbeit mit Zeiss.
Yannik: Was mir sehr geholfen hat, war der regelmäßige Austausch und das Wissen darüber, dass ich eine Ansprechperson für Folgefragen hatte. Wir saßen auch im gleichen Büro, das hat sich gut angeboten.
Ich fand es schwierig, meine eigene Forschung von dem Software Campus-Projekt, was ich jetzt betreue, abzusplitten und dem Ganzen eine eigene Richtung zu geben. Aber ich denke, das haben wir zusammen ganz gut gemeistert. Und, Moritz hatte es am Anfang angesprochen, das Finden und die Selektion von neuen Kandidat*innen empfand ich eher als Problem. Es gab beispielsweise 2- 3 Bewerber*innen, die grundsätzlich sehr gut gepasst hätten, die aber enttäuscht waren, als sie ihre Absage bekommen hatten. Hier habe ich gemerkt, dass durch eine klare, transparente Kommunikation die Wogen geglättet werden konnten, weil wir einen Kandidaten mit medizinischem Hintergrund hatten, der am besten auf das Projekt gepasst hat.
Habt ihr allgemeine Tipps für zukünftige Software Campus Teilnehmende?
Moritz: Frühzeitig anfangen! Sobald man durch die ersten paar Bewerbungsschritte durch ist, auch bevor man einen Industriepartner hat, kann man eigentlich schon anfangen eine Ausschreibung herauszugeben, und schauen, wer könnte passen und Personen ansprechen. Auch schon mal überlegen, welche Anforderungen habe ich eigentlich an die Person für die Stelle. Zugegebenermaßen, in diesem Projekt ist es speziell: Augenchirurgie ist nicht das Magenverträglichste, was man sich angucken mag. Wenn jemand kein Blut sehen kann, ist das nicht das Beste.
Yannik, bald steht dein Projektabschluss an. Kannst du uns etwas über deine Erfahrungen zunächst als HiWi und der anschließende Übergang zum Projektleiter erzählen bwz. Einblicke in diesen Perspektivwechsel geben?
Yannik: Es war schon eine Umstellung vom Masterstudenten hin zu einem Doktoranden. Aber im Allgemeinen habe ich eine sehr positive Erfahrung gemacht, was auch am kontinuierlichen Mentoring durch Moritz, aber auch durch meinen Doktorvater Dr. Anirban Mukhopadhyay, lag. Dieses kontinuierliche Feedback hat sehr geholfen, und wir konnten letztendlich schon sehr früh gute Ergebnisse erzielen und ich konnte als WiMi sehr viele Einblicke in die Forschung und Entwicklung von KI bekommen. Was mir an meiner Dissertation sehr gut gefallen hat, war die Zusammenarbeit mit dem klinischen Personal. Auch natürlich das viele Netzwerken auf den Konferenzen, wo ich viel lernen und mein eigenes Profil aufbauen konnte. Und zusätzlich besonders eben die Zusammenarbeit mit der Industrie durch das Software Campus-Projekt.
Was die Umstellung angeht, habe ich gemerkt, dass das Ganze ein Perspektivenwechsel erfordert. Am Anfang war ich die Person, die immer jemanden hatte, der mir kontinuierliches Feedback gegeben hatte. Ich muss jetzt selbst diese Person sein, aber auch da denke ich, dass ich durch das Mentoring recht gut vorbereitet bin und das Software Campus-Training unterstützt da auch nochmal zusätzlich. Ob es geklappt hat, das müsst ihr dann nächstes Jahr Ssharvien Kumar Sivakumar fragen, aber allgemein würde ich sagen es lief sehr glatt ab bei uns.
Habt ihr auch schon eine Person im Visier, die euer Projekt weiter fortführen wird? Bzw. wisst ihr, wie es weitergehen wird mit der Forschung und für eure Zukunft im Allgemeinen?
Yannik: Das Thema wird jetzt durch Ssharvien weiterverfolgt. Es gibt noch viele offene Forschungsfragen, die man auch über das Software Campus-Projekt hinaus bearbeiten kann. Ich würde mir natürlich schon wünschen, wenn ich das Ganze gegebenenfalls in der Industrie oder in einer Post-Doc-Stelle weiter fortführen könnte, ja. Ob’s klappt, sehen wir dann.
Moritz: Mein Themenfeld hat sich zwar in Richtung Pathologie entwickelt, aber ich finde, dass Cataract Surgery in der akademischen Forschung extremst unterrepräsentiert ist. Es gibt eigentlich kaum Wissenschaftler*innen die daran arbeiten. Chirurgie ist auch generell weniger in der Medical Imaging Community vertreten als andere, diagnostische Aufgaben generell. Außerdem werden generative Modelle sehr selten für Chirurgie genutzt. Es würde mich wirklich freuen, wenn mehr Forscher*innen daran arbeiten würden. Klar, es gibt viele Risiken, sodass auch gesagt wird: Wir wollen nicht, dass da irgendwas halluziniert. Aber genau deswegen geht auch unsere Forschung in diese Richtung: Wie kriegen wir es kontrollierbar, wie minimieren wir die Risiken und erhalten die Realitätsgenauigkeit? Denn wir wollen Anwendungen ermöglichen, damit Chirurg*innen beim Training oder in der Ausbildung Operation wie in einem Videospiel so ausführen können, als wenn sie die in Echt machen und fast keinen Unterschied merken. Ein Schritt ist zum Beispiel, die Kapsulorhexis , bei der man ein kreisrundes Stück der „Haut“ der Linse abzieht. In der Trainings-simulation mit einem Phantom ist das ein dünner Plastikfilm, den man von einer Petrischale abzieht, das kommt zwar motorisch sehr nah an die Realität, aber was man als visuelles Feedback kriegt, das ist halt doch sehr weit weg.
Vielen Dank für eure Zeit und dem interessanten Einblick in eure Forschung!
Ausgangssprache dieses Interviews: Deutsch
_____________________________________
Veröffentlichte Paper:
[1] Frisch, Yannik, Moritz Fuchs, and Anirban Mukhopadhyay. "Temporally consistent sequence-to-sequence translation of cataract surgeries." International Journal of Computer Assisted Radiology and Surgery 18.7 (2023): 1217-1224.
[2] Y. Frisch, C. Bornberg, M. Fuchs and A. Mukhopadhyay, "GAUDA: Generative Adaptive Uncertainty-Guided Diffusion-Based Augmentation for Surgical Segmentation," in 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Tucson, AZ, USA, 2025, pp. 3762-3771, doi: 10.1109/WACV61041.2025.00370.
url: https://doi.ieeecomputersociety.org/10.1109/WACV61041.2025.00370
[3] Frisch, Yannik, et al. "Synthesising rare cataract surgery samples with guided diffusion models." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023.
[4] Frisch, Yannik, et al. "SurGrID: Controllable Surgical Simulation via Scene Graph to Image Diffusion." arXiv preprint arXiv:2502.07945 (2025).
[5] Sivakumar, Ssharvien Kumar, et al. "SASVi--Segment Any Surgical Video." arXiv preprint arXiv:2502.09653 (2025).
