FMDeploy: Foundation Models auf ressourcenbeschränkten Geräten

Name der Teilnehmerin: Benedikt Dietrich

Projekttitel: FMDeploy: Foundation Models auf ressourcenbeschränkten Geräten

Beschreibung des IT-Forschungsprojektes:

Durch den Einsatz sogenannter Foundation Models, die als fortschrittlichste KI-Modelle gelten, wurden in den vergangenen Jahren beachtliche Erfolge erzielt, beispielsweise in der Sprachverarbeitung durch Large Language Models (LLMs) und in der Computer Vision. Ihr Erfolg beruht maßgeblich auf der hohen Parameterzahl und Kapazität, die die früherer Modellarchitekturen übersteigen und einen erhöhten Ressourcenverbrauch mit sich bringen. Deshalb konzentriert sich ihr Einsatz vorwiegend auf leistungsstarke Graphikprozessoren. Um ihren Einsatz in ressourcenbeschränkten Szenarien in technischen und industriellen Anwendungen wie Robotik und autonomem Fahren effizient zu gestalten, bedarf es ganzheitlicher Optimierungen, die Anwendung, Modell und ausführende Hardware einbeziehen. Die physikalischen Einschränkungen betreffen dabei Rechenleistung, Speicherplatz, elektrische Leistung, Energieverbrauch und Temperatur. Zusätzlich weisen eingebettete Systeme häufig eine heterogene Architektur mit verschiedenen Prozessorkernen und Beschleunigern, einer gemeinsamen Speicherhierarchie und Konkurrenz zwischen gleichzeitig laufenden Berechnungen um die begrenzten Ressourcen auf.

Das Forschungsprojekt FMDeploy widmet sich daher der effizienten Ausführung von FMs auf ressourcenbeschränkten eingebetteten Systemen. Dazu werden plattformspezifische Ansätze verfolgt, die die Modellierung des Prozessors und die Charakterisierung von Modellblöcken zur Entwurfszeit, sowie dynamisches Ressourcenmanagement zur Laufzeit, durch Scheduling, Frequenzskalierung und Speicherverwaltung umfassen, um die verfügbare Hardware optimal auszulasten. Außerdem sollen kontextspezifische Optimierungen berücksichtigt werden. Herkömmliche Methoden führen unabhängig von der Eingabesequenz stets dieselben Berechnungsschritte aus. Dieser Ansatz kann ineffizient sein, da er immer maximale Ressourcen beansprucht, selbst wenn die Eingabe nicht die volle Modellkapazität erfordert. Eine kontextabhängige Komplexität ist beispielsweise bei der Bildverarbeitung mit statischem oder dynamischem Hintergrund, bei wechselnden Witterungsbedingungen oder bei unterschiedlichen Tageszeiten und Lichtverhältnissen gegeben. Zudem enthalten Eingabedaten oft redundante oder für die Zielanwendung irrelevante Informationen. Dadurch können Berechnungen übersprungen werden oder müssen bestimmte Information erst gar nicht verarbeitet werden.

Ein Ziel dieses Mikroprojekts ist daher, diese Einsparpotenziale zu identifizieren und passende kontextspezifische Optimierungsmethoden zu entwickeln. Dabei können auch dynamische Modellarchitekturen wie Early-Exit- oder Mixture-of-Experts-Netzwerke zum Einsatz kommen, bei denen je nach Eingabe ein unterschiedlicher Berechnungspfad aktiviert wird. So lassen sich bei einfachen Eingaben Ressourcen einsparen, ohne die Anwendungs-Performance bei komplexen Eingaben zu beeinträchtigen.

Da dynamische Architekturen zu einer kontextabhängigen Rechenlast führen, soll zudem untersucht werden, wie sich kontextspezifische Optimierungen mit plattformspezifischen Ansätzen und dynamischem Ressourcenmanagement kombinieren lassen.

Software Campus Partner: KIT und Bosch

Umsetzungszeitraum: 01.01.2026 – 31.12.2027