PROVAIDE

Provenienz und Verbreitungspfade von Desinformationen mit KI-gestützter Evidenzprüfung

Laufzeit: April 2026 – März 2029

Förderung: BMFTR · Programm „Vertrauen in Demokratie und Staat: Digitale Desinformation erkennen und abwehren“ · Fkz 16KIS2511K

Konsortium: Institut für Angewandte Informatik (InfAI) e.V., Leipzig (Verbundkoordination); ConPolicy GmbH, Berlin; Europäisches Zentrum für Presse- und Medienfreiheit SCE mbH, Leipzig

Leitung am ECPMF: Dr. Patrick Peltz

Unabhängige Berichterstattung ist eine strukturelle Voraussetzung demokratischer Öffentlichkeit. Desinformation untergräbt sie systematisch: nicht nur durch erfundene Inhalte, sondern durch Auslassung, Kontextmanipulation und koordinierte Narrativkampagnen, die mit herkömmlichen redaktionellen Mitteln schwer zu erkennen sein können. Erschwerend kommt hinzu, dass KI-Systeme, die zur Inhaltsbewertung eingesetzt werden, zur Halluzination neigen. Ohne eine gesicherte, überprüfbare Faktenbasis können automatisierte Wahrscheinlichkeitsaussagen über Desinformationsgehalt ihrerseits Fehler erzeugen.

„PROVAIDE“ ist ein dreijähriges Forschungs- und Entwicklungsprojekt, das zum Ziel hat, diese Lücke zu untersuchen und zu schließen. Bis Ende 2029 soll ein Recherche-Tool entstehen, das Journalist:innen dabei unterstützt einzuschätzen, woher eine Information stammt, wie sie sich verbreitet hat und wie wahrscheinlich es ist, dass sie Teil einer koordinierten Desinformationskampagne ist. Ob und wie gut das technisch, methodisch und in der Praxis realisierbar ist, ist eine der zentralen Fragen, denen das Projekt nachgeht.

Ziele und Ansatz

Das angestrebte Tool soll Journalist:innen ermöglichen, die Herkunft einer Information nachzuverfolgen, ihre Verbreitungswege zu kartieren und einzuschätzen, ob sie Teil einer koordinierten Desinformationskampagne ist. Es analysiert Ursprung, Verbreitungskanäle und typische Muster von Informationen und bewertet deren Glaubwürdigkeit. Die multimodale Auswertung von Text, Bild, Video und Audio soll eine besonders fundierte Einschätzung ermöglichen. Ob und wie gut diese Funktionen technisch und in der redaktionellen Praxis umsetzbar sind, untersucht das Projekt durch iterative Entwicklung und systematische Nutzerforschung.

Eine zentrale Herausforderung ist dabei die Halluzinationsneigung großer Sprachmodelle: Sie erzeugen plausibel klingende Ausgaben, die faktisch falsch sein können, besonders für aktuelle Ereignisse. PROVAIDE will dem durch eine kontinuierlich aktualisierte, von Expert:innen annotierte Faktendatenbank begegnen, die als Korrektiv während der KI-Inferenz eingesetzt werden soll.

Datenbasis

Das technische Fundament ist das Wortschatz-Leipzig-Korpus: über 20 Jahre kontinuierliches Newscrawling, mehr als vier Millionen Dokumente pro Jahr. Ergänzt werden soll es durch gezieltes Crawling weiterer Medienquellen sowie Methoden zur Verarbeitung von Audio, Bild und Video.

Nutzerforschung und Interface-Design

Parallel zur technischen Entwicklung untersucht das Projekt, was Journalist:innen tatsächlich brauchen und wie ein solches Tool gestaltet sein muss, um in der redaktionellen Praxis nutzbar zu sein. Dazu werden Journalist:innen systematisch in den Entwicklungsprozess eingebunden, von der Bedarfserhebung bis zur Evaluation des fertigen Demonstrators.

Open-Source-Veröffentlichung

Trainierte Klassifikatoren, annotierte Datensätze und zentrale Softwarekomponenten sollen soweit rechtlich möglich unter Open-Source-Lizenzen bereitgestellt werden. Ziel ist, dass die entwickelten Methoden und Werkzeuge nach Projektende von anderen Forschungsgruppen und Redaktionen weitergenutzt und weiterentwickelt werden können.

PROVAIDE

Provenance and Dissemination Pathways of Disinformation with AI-Assisted Evidence Checking

Duration: April 2026 – March 2029

Funding: BMFTR · Programme “Trust in Democracy and the State: Detecting and Countering Digital Disinformation” · Grant ID 16KIS2511K

Consortium: Institut für Angewandte Informatik (InfAI) e.V., Leipzig (Project coordination); ConPolicy GmbH, Berlin; European Centre for Press and Media Freedom (ECPMF) SCE mbH, Leipzig

ECPMF lead: Dr. Patrick Peltz

Independent journalism is a structural prerequisite of democratic public life. Disinformation systematically erodes it: not only through outright fabrication, but through omission, contextual manipulation, and coordinated narrative campaigns that can be difficult to detect with standard editorial tools. A further complication is the hallucination problem inherent to AI systems used for content assessment. Without a secured, verifiable fact base, automated estimates of disinformation risk can themselves produce errors.

PROVAIDE is a three-year research and development project that aims to investigate and close this gap. By the end of 2029, the project intends to produce a research tool that helps journalists assess where a piece of information originates, how it has spread, and how likely it is to be part of a coordinated disinformation campaign. Whether and to what extent this is technically, methodologically, and practically achievable is one of the central questions the project sets out to address.

Objectives and Approach

The intended tool is designed to allow journalists to trace the origin of a piece of information, map its dissemination pathways, and assess whether it forms part of a coordinated disinformation campaign. It analyses the origin, distribution channels, and typical patterns of information and evaluates their credibility. The multimodal processing of text, image, video, and audio is intended to enable particularly well-grounded assessments. Whether and how well these functions can be implemented technically and in editorial practice is what the project investigates through iterative development and systematic user research.

A central challenge here is the hallucination tendency of large language models: they generate plausible-sounding outputs that may be factually incorrect, particularly for recent events. PROVAIDE aims to address this through a continuously updated, expert-annotated fact database to be used as a corrective during AI inference.

Data Infrastructure

The technical foundation is the Wortschatz Leipzig corpus: over 20 years of continuous news crawling, producing more than four million documents per year. This is to be supplemented by targeted crawling of additional media sources and methods for processing audio, image, and video content.

User Research and Interface Design

Alongside technical development, the project investigates what journalists actually need and how such a tool must be designed to be usable in editorial practice. To this end, journalists are systematically involved in the development process, from the initial needs assessment through to the evaluation of the finished demonstrator.

Open-Source Release

Trained classifiers, annotated datasets, and core software components are to be made available under open-source licences to the extent legally permissible. The aim is for the methods and tools developed to remain available for use and further development by other research groups and newsrooms after the project ends.