EVIDENZ: Evidenzbasierte Textgenerierung mit LLMs

Name des Teilnehmers: Tobias Schreieder

Projekttitel: Evidenzbasierte Textgenerierung mit LLMs (EVIDENZ)

Beschreibung des IT-Forschungsprojektes:

Das Projekt „Evidenzbasierte Textgenerierung mit LLMs“ (EVIDENZ) verfolgt das Ziel, die Vertrauenswürdigkeit großer Sprachmodelle (LLMs) in wissenschaftlichen Anwendungsszenarien zu erhöhen. Im Fokus steht dabei die Entwicklung von Methoden zur evidenzbasierten Textgenerierung, bei der generierte Inhalte systematisch mit nachvollziehbaren und überprüfbaren Referenzen verknüpft werden. Dadurch sollen Nutzende in die Lage versetzt werden, Aussagen von LLMs eigenständig anhand wissenschaftlicher Quellen zu validieren.

EVIDENZ adressiert zentrale Herausforderungen aktueller LLMs, die zwar oft sprachlich überzeugende Antworten liefern, jedoch häufig keine oder nur unzureichend passende Zitationen bereitstellen. Das Projekt untersucht hierzu sowohl nichtparametrische Ansätze, die externe wissenschaftliche Quellen zur Laufzeit einbinden, als auch parametrische Verfahren, die eine Rückverfolgung generierter Inhalte auf Trainingsdaten ermöglichen.

Die Industriepartnerschaft mit Springer Nature stärkt die praktische Relevanz des Projekts maßgeblich. Als einer der weltweit führenden Wissenschaftsverlage bringt Springer Nature umfassende Expertise sowie Zugang zu hochwertigen wissenschaftlichen Publikationen und Metadaten ein. Diese Ressourcen ermöglichen es, realistische Anwendungsszenarien zu adressieren und die entwickelten Methoden unter praxisnahen Bedingungen zu evaluieren.

Ein wesentlicher Bestandteil des Projekts ist die Entwicklung eines neuartigen wissenschaftlichen Benchmarks für evidenzbasierte Textgenerierung mit LLMs. Dieser dient dazu, die Qualität von generierten Inhalten und Zitationen systematisch zu bewerten und unterschiedliche Ansätze vergleichbar zu machen. Darauf aufbauend wird ein Prototyp für Retrieval-Augmented Generation (RAG) entwickelt, der gezielt relevante Quellen auswählt und diese in den Generierungsprozess integriert, wobei insbesondere die Zitationsfunktion (den Zweck einer Zitation) berücksichtigt wird. Ergänzend werden parametrische Methoden zur Attribution analysiert und hinsichtlich ihrer Skalierbarkeit und Anwendbarkeit im wissenschaftlichen Kontext weiterentwickelt.

Software Campus Partner: Technische Universität Dresden und Holtzbrinck

Umsetzungszeitraum: 01.01.2026 – 31.12.2027