KI-Antworten prüfen erklärt: Halluzinationen, Quellenbindung und Bewertung

01

Welche Arten von Fehlern machen KI-Systeme bei ihren Antworten?

KI-Systeme machen zwei Grundarten von Fehlern. Faktenfehler widersprechen der Wirklichkeit oder erfinden Details. Treuefehler weichen von der Anweisung, vom mitgelieferten Kontext oder von der eigenen Argumentation ab. In Systemen mit Dokumentenabruf kommen Fehler vor dem Modell hinzu: falsche, veraltete oder fehlende Quellen. Jede Art braucht ein eigenes Prüfverfahren.

Der Begriff Halluzination fasst sehr unterschiedliche Fehler zusammen. Die Übersichtsarbeit von Huang und anderen (ACM Transactions on Information Systems, Preprint 2023) trennt Faktenfehler (factuality hallucination), die überprüfbarem Wissen widersprechen, von Treuefehlern (faithfulness hallucination), die nicht zu Anweisung oder Kontext passen. Für ein System, das aus eigenen Dokumenten antwortet, zählt meist die zweite Familie: Steht die Aussage in der freigegebenen Quelle?

Das National Institute of Standards and Technology nennt das Phänomen im Profil für generative KI (NIST AI 600-1, 2024) Konfabulation: selbstsicher präsentierte, aber falsche Inhalte, auch solche, die der Eingabe widersprechen. Die Anwendersicht steht auf KI-Chatbot für Unternehmen; diese Seite geht eine Ebene tiefer in die Messung.

02

Warum erfinden Sprachmodelle überhaupt Antworten?

Sprachmodelle erzeugen die statistisch wahrscheinlichste Fortsetzung eines Textes, keine geprüfte Aussage. Fehlt das Wissen, entsteht trotzdem ein flüssiger Satz. Kalai und andere (2025) argumentieren zusätzlich, dass Training und gängige Bewertungen Raten belohnen und das Eingeständnis von Unsicherheit bestrafen. Ein Unternehmenssystem muss deshalb „keine Antwort gefunden“ ausdrücklich als gutes Ergebnis werten.

NIST AI 600-1 (2024) nennt Konfabulationen eine natürliche Folge der Bauweise generativer Modelle: Sie sagen das nächste Wort voraus, und nichts in dieser Vorhersage trennt einen korrekten von einem nur plausiblen Satz. Kalai, Nachum, Vempala und Zhang (arXiv, 2025) ergänzen, dass die meisten Bewertungen nur richtige Antworten zählen. Wer rät, schneidet besser ab als ein Modell, das Unsicherheit zugibt.

03

Wie bindet man KI-Antworten technisch an Quellen und erzwingt Zitate?

Quellenbindung heißt: Das Modell erhält nur abgerufene Abschnitte mit Kennung und muss jede Aussage einer Kennung zuordnen. Erzwungen wird das nicht durch die Anweisung allein, sondern durch Code: Die Antwort kommt strukturiert zurück, das System prüft, ob jede zitierte Kennung existiert und das Zitat wörtlich im Abschnitt steht, und verwirft Antworten ohne Beleg.

Wie ein System Abschnitte abruft und mit Belegpflicht übergibt, erklärt Retrieval-Augmented Generation. Hier geht es um den Schritt danach: Die Anweisung „belege jede Aussage“ ist eine Bitte. Verbindlich wird sie erst, wenn Code die Ausgabe prüft (Verankerung in Quellen, englisch grounding).

Liu, Zhang und Liang (Findings of EMNLP 2023) messen Zitatabdeckung (citation recall), den Anteil vollständig belegter Aussagen, und Zitatgenauigkeit (citation precision), den Anteil der Zitate, die ihre Aussage stützen. Gao und andere (EMNLP 2023) bewerten Zitatqualität im Benchmark ALCE. Beide Größen lassen sich für jedes eigene System übernehmen.

1. Strukturiert antworten lassen

   Aussagen, je Aussage die Kennungen der Belegabschnitte und ein wörtliches Kurzzitat, dazu ein Feld, ob die Unterlagen die Frage beantworten.

2. Kennungen prüfen

   Jede Kennung muss zu einem für diese Anfrage abgerufenen Abschnitt gehören.

3. Zitat suchen

   Das Kurzzitat muss wörtlich im Abschnitt stehen. Das fängt erfundene Belege ab, nicht aber verdrehte Aussagen.

4. Deckung bewerten

   Ob die Aussage aus dem Abschnitt folgt, prüft ein Bewertungsmodell nach dem Prinzip der Treue zur Quelle, zunächst auf einer Stichprobe.

5. Scheitern sichtbar machen

   Fällt eine Prüfung durch, zeigt das System nur die Fundstellen oder sagt offen, dass keine belegte Antwort vorliegt, und protokolliert den Grund.

04

Wie baut man eine Sammlung von Testfragen für ein KI-System auf?

Eine Testfragen-Sammlung entsteht aus echten Anfragen, etwa aus Tickets, E-Mails und Suchprotokollen, ergänzt um gezielt schwierige Fälle. Zu jeder Frage gehören die erwartete Kernaussage, die Fundstelle und eine Fragegruppe. Fragen, deren Antwort nicht im Bestand steht, gehören ausdrücklich dazu. Ein zurückgehaltener Teil zeigt, ob Verbesserungen nur auf bekannte Fragen passen.

Der Goldstandard-Testsatz beantwortet eine Frage: Ist die neue Fassung auf echten Fragen besser oder schlechter als die alte? Erst mit ihm wird Evaluation zur wiederholbaren Messung.

Wie groß der Testsatz sein muss, zeigt eine grobe Näherung für Konfidenzintervalle von Anteilen (NIST/SEMATECH e-Handbook of Statistical Methods): Bei 100 Fragen und 90 Prozent richtigen Antworten beträgt die Unsicherheit rund plus minus 5,9 Prozentpunkte (1,96 mal Wurzel aus 0,9 mal 0,1 durch 100), bei 400 Fragen rund 2,9. Ein Unterschied von drei Punkten ist mit 100 Fragen also nicht belegbar. Für kleine Stichproben empfiehlt das Handbuch genauere Verfahren wie das Wilson-Intervall. Wichtiger als die Gesamtzahl ist, dass jede Fragegruppe für sich auswertbar bleibt.

05

Welche Metriken messen die Qualität von RAG-Antworten?

Das Ragas-Paper (Es und andere, 2023) definiert drei Größen ohne Referenzantwort: Treue zur Quelle, Antwortrelevanz und Kontextrelevanz. Die gleichnamige Open-Source-Bibliothek ergänzt Kontextpräzision und Kontextrecall, die eine Referenz brauchen. Dazu kommen Zitatgenauigkeit, Faktenpräzision auf Ebene einzelner Aussagen und die schlichte Richtigkeit gegen die erwartete Kernaussage.

Das Paper von Es, James, Espinosa-Anke und Schockaert (arXiv, 2023) berechnet jede Größe mit Hilfe eines Sprachmodells. Treue zur Quelle (faithfulness): Die Antwort wird in Aussagen zerlegt, jede wird gegen den Kontext geprüft, der Wert ist der Anteil gedeckter Aussagen. Antwortrelevanz (answer relevance): Aus der Antwort erzeugte Fragen werden per Einbettung mit der Originalfrage verglichen. Kontextrelevanz (context relevance): der Anteil der Kontextsätze, die zur Beantwortung nötig sind.

Kontextpräzision und Kontextrecall stammen aus der Dokumentation der Ragas-Bibliothek: Die eine misst, ob relevante Abschnitte oben in der Trefferliste stehen, die andere, ob alles Nötige abgerufen wurde, und verlangt dafür eine Referenz. Im Paper stimmte die Treue in 95 Prozent der Fälle mit menschlichen Urteilen überein, die Antwortrelevanz in 78 und die Kontextrelevanz in 70 Prozent (Es et al., 2023).

FActScore (Min et al., EMNLP 2023) zerlegt lange Texte in atomare Fakten; ein verbreitetes kommerzielles Chat-Modell erreichte bei Biografien nur 58 Prozent. Die Metriken ergänzen sich: Treue ist wertlos, wenn der Abruf die falsche Fassung liefert.

06

Kann ein Sprachmodell die Antworten eines anderen Sprachmodells zuverlässig bewerten?

Teilweise. Zheng und andere (NeurIPS 2023) fanden über 80 Prozent Übereinstimmung starker Modelle mit menschlichen Präferenzen, zugleich aber Verzerrungen: Bevorzugung einer Position, längerer Antworten und eigener Ausgaben. Ein Sprachmodell als Bewerter skaliert die Prüfung, braucht aber feste Bewertungsregeln, vertauschte Reihenfolgen und eine Kalibrierung gegen menschliche Urteile.

Fast alle automatischen Metriken nutzen ein Sprachmodell als Prüfer (LLM-as-a-Judge). Zheng und andere benennen dabei Positionsverzerrung (die zuerst gezeigte Antwort wird bevorzugt), Längenverzerrung und Selbstbevorzugung.

• Enge Fragen statt Noten: „Folgt Aussage 3 aus Abschnitt D17-4?“ statt einer Gesamtnote.
• Reihenfolge tauschen: Vergleiche laufen zweimal mit vertauschter Position; abweichende Urteile zählen als unentschieden.
• Kalibrieren: Menschen bewerten eine Teilmenge; erst bei ausreichender Übereinstimmung zählt das Bewertungsmodell.
• Ohne Referenz: SelfCheckGPT (Manakul et al., EMNLP 2023) wertet Widersprüche zwischen mehreren Antworten auf dieselbe Frage als Warnsignal, ersetzt aber keine Quellenprüfung.

Wird das Bewertungsmodell ausgetauscht, verschieben sich alle Werte; Messreihen bleiben nur mit fester Bewertungsanweisung vergleichbar. Den laufenden Aufwand ordnet Was ein RAG-System im Betrieb wirklich kostet ein.

07

Wie organisiert man eine menschliche Stichprobe von KI-Antworten?

Eine tragfähige Stichprobe mischt zufällig gezogene Antworten mit gezielt ausgewählten: negative Rückmeldungen, Antworten ohne Beleg und niedrige automatische Bewertungen. Fachleute bewerten nach einem festen Schema, ohne die automatische Bewertung zu kennen. Ein Teil wird doppelt geprüft, um die Übereinstimmung der Prüfenden zu messen. Jeder bestätigte Fehler wird zur neuen Testfrage.

1. Ziehen

   Zufällige Antworten für den Alltag, dazu gezielt negative Rückmeldungen, verworfene Zitate und niedrige Treuewerte.

2. Nach Schema bewerten

   Richtig und belegt, richtig aber unbelegt, teilweise falsch, falsch, zu Recht oder zu Unrecht keine Antwort.

3. Blind bewerten

   Die automatische Bewertung bleibt verborgen, sonst wird sie unbewusst übernommen.

4. Doppelt prüfen

   Ein Teil geht an zwei Personen; die Übereinstimmung, etwa nach Cohens Kappa, zeigt, ob das Schema eindeutig ist.

5. Zurückführen

   Bestätigte Fehler werden mit Ursache (Abruf, Quelle, Modell, Anweisung) erfasst und zur Testfrage.

KI-GENERIERTKI-GENERIERT

Prüfen sollten Fachleute, die die Quellen verantworten, und sie sehen nur, was sie auch im Quellsystem sehen dürfen (Berechtigungen in KI-Wissenssystemen). Das Prinzip beschreibt der Glossareintrag Human in the Loop.

08

Wie überwacht man die Antwortqualität im laufenden Betrieb?

Im Betrieb zählen Signale, die ohne Referenzantwort auskommen: Anteil der Antworten ohne Quelle, fehlgeschlagene Zitatprüfungen, automatische Treuebewertung auf einer Stichprobe, Rückmeldungen und wiederholte Fragen. Jede Änderung an Modell, Anweisungen, Zerlegung oder Dokumentbestand löst einen vollständigen Lauf des Testsatzes aus, bevor sie für alle Nutzer gilt.

Voraussetzung ist, dass zu jeder Antwort nachvollziehbar bleibt, welche Abschnitte abgerufen und zitiert wurden (Observability), ohne Frageinhalte unnötig zu speichern. Aussagekräftig sind Veränderungen: Steigt der Anteil ohne Quelle nach neuen Dokumenten, liegt die Ursache eher in der Aufnahme als im Modell.

09

Welchen Rahmen bietet das NIST AI Risk Management Framework für die Prüfung von KI-Antworten?

Das AI Risk Management Framework des US-amerikanischen National Institute of Standards and Technology ist ein freiwilliger Rahmen mit vier Funktionen: Govern, Map, Measure und Manage. Messen und Überwachen im Betrieb gehören zu Measure. Das Profil für generative KI, NIST AI 600-1, führt erfundene Inhalte unter dem Namen Konfabulation als eigenes Risiko.

Die Fassung 1.0 (NIST AI 100-1) erschien im Januar 2023 für die freiwillige Nutzung. Einschlägig sind Measure 2.4, die Überwachung von Funktion und Verhalten im Produktivbetrieb, und Measure 2.5, der Nachweis von Gültigkeit und Zuverlässigkeit samt dokumentierter Grenzen (NIST, 2023). Das Profil für generative KI folgte im Juli 2024.

Eine rechtliche Einordnung liefert der Rahmen nicht, und diese Seite auch nicht. Wie Messung und Pflege in ein Wissenssystem passen, beschreibt Wissensmanagement mit KI.

10

Welche Irrtümer über Halluzinationen und ihre Messung sind verbreitet?

Verbreitet sind fünf Annahmen: dass eine genannte Quelle die Antwort belegt, dass Dokumentenabruf Halluzinationen beseitigt, dass eine hohe Metrik richtige Antworten bedeutet, dass ein Bewertungsmodell Menschen ersetzt und dass eine Temperatur von null das Erfinden abstellt. Jede enthält einen wahren Kern und führt, unkritisch übernommen, zu Systemen, die besser aussehen, als sie sind.

Bei Agenten kommen Fehler in Zwischenschritten hinzu, siehe KI-Agenten in der Wissensarbeit.