In seinem IT-Forschungsprojekt im Software Campus SuGraBo, welches er mit der Software AG umsetzt, beschäftigt sich Sven Hertling vom DFKI mit einer Suchmaschine für die grafische Benutzeroberfläche. Darin entwickelt er ein Framework, um Modelle von beliebiger, insbesondere existierender Software, zu erstellen. Basierend darauf werden verschiedene Assistenzen angeboten, die das Erlernen und den Umgang mit der Software fördern. Die Hauptanwendung ist eine semantische Suche auf den Elementen der Benutzerschnittstelle (Schaltflächen, Menüs etc.). Wenn ein Ergebnis ausgewählt wurde, können sogenannte „In Application Tutorials“ angeboten werden und darüber hinaus Textassistenzsysteme über Anwendungsgrenzen hinweg gepflegt und genutzt werden. Neben kontextabhängiger Autovervollständigung, können beispielweise Hintergrundinformationen in Texten eingeblendet werden. Einen ersten Prototyp und Textassistenzsysteme stellte er auf dem Summit 2017 vor.
Für ein darauf basierendes Paper erhielt er mit seinen Kollegen im Februar auf der 9. International Conference on Agents and Artificial Intelligence in Porto, Portugal, den Best Paper Award.
Das Paper “Where is that Button Again?! – Towards a Universal GUI Search Engine” gibt einen Überblick über ähnliche Ansätze und beschreibt die drei größten Herausforderungen, die das Team zu lösen hatte. Diese sind die Analyse der grafischen Benutzeroberfläche, das Verstehen der Nutzeranfragen und das Aufsetzen einer passenden Lösung, um das gesuchte Element oder die Funktion in der Benutzerschnittstelle zu finden.
Auf Basis einer durchgeführten Nutzerstudie hat das Team seine Methode bewertet und gezeigt, dass sie insbesondere dann als nützlich wahrgenommen wird, wenn ein Feature gesucht wird, welches nicht regelmäßig verwendet wird. Es wurde ein hohes Potential der Methode im Hinblick auf weitere Anwendungsmöglichkeiten identifiziert.
