Name des Teilnehmers: Moritz Ruge
Beschreibung des IT-Forschungsprojekts: Das Internet der Dinge (IoT) und Industrie 4.0 treiben die Digitalisierung weiter voran und somit wächst die Menge der generierten Daten weiterhin exponentiell an. Dieser Trend wird auch als Big Data bezeichnet und erfordert neue Datenverarbeitungsparadigmen, um das Volumen an Daten bewältigen zu können.
Die derzeitigen State-of-the-Art Stream Processing Engines verlieren einen Großteil ihrer Leistung, da diese beim Skalieren von der Hardware abstrahieren und alle Knoten gleich behandeln. Neue Stream Processing Engines müssen somit die zugrundeliegende Hardware berücksichtigen, um die Leistung der einzelnen Knoten zu maximieren, um mit den wachsenden Mengen an Daten umgehen zu können.
Zudem hat sich gezeigt, dass das Gesetz von Moore stagniert – dass es also neuer Hardwarelösungen bedarf, wobei Experten sich einig sind, dass die Zukunft im Einsatz heterogener Hardware liegt. Durch die Verwendung von heterogener Hardware können die Vorteile der verschiedenen Architekturen genutzt werden, um die jeweiligen Schwächen zu verbergen.
In diesem Projekt wird eine Reihe an Operatoren für einen Prototyp einer Stream Processing Engine implementiert. Um die Leistung zu optimieren, arbeiten wir auf heterogener Hardware. Um die Vorteile der unterschiedlichen Hardware-Architekturen zu nutzen, wird für jeden Operator ein universeller Software-Ansatz entwickelt und architekturübergreifend implementiert. Der Implementierung folgt eine analytische Phase, in der die Operatoren in verschiedenen Szenarien getestet werden, um die Parametrisierung zu finden, die die Leistung maximieren. Durch die Anpassung des Software-Ansatzes auf die Hardware hoffen wir, Ergebnisse zu erzielen, die den aktuellen Stand der Technik übertreffen.
Software Campus-Partner: TU Berlin, Huawei
Umsetungszeitraum: 01. 04.2021 – 31.03.2022