Der Verifier

Nach der Generierung laufen zwei Prüfungen parallel über die Antwort.

Prüfung A — Deckung. Jede einzelne Aussage der Antwort wird gegen die von ihr zitierte Passage gehalten. Zurück kommt je Aussage: gedeckt oder nicht gedeckt, ein Vertrauenswert und eine Begründung. Eine Aussage fällt heraus, wenn sie als nicht gedeckt gilt oder der Vertrauenswert unter 0,80 liegt. Diese Prüfung ist bewusst fehlerkonservativ ausgelegt: schlägt sie technisch fehl oder liefert sie Unlesbares, werden alle Aussagen verworfen.

Prüfung B — Fremdinhalt. Die gesamte Antwort wird gegen die Vereinigungsmenge aller Quellen gehalten, um Prosa zu finden, die von keiner Passage getragen wird.

Zusammenführung. Fällt mehr als die Hälfte der Aussagen aus Prüfung A heraus, oder markiert Prüfung B mindestens zwei verdächtige Stellen, wird die Antwort als abgelehnt gekennzeichnet. Fällt nur ein schwaches Signal, lautet das Ergebnis teilweise geprüft. Sonst geprüft. Das Ergebnis erscheint als Vermerk über der Antwort.

Was der Verifier nicht garantiert

Diese Punkte gehören auf dieselbe Seite wie die Funktionsbeschreibung, weil sie den Umfang der Aussage bestimmen.

• Es ist ein Sprachmodell, das ein Sprachmodell benotet. Es gibt keinen Abgleich gegen eine Normendatenbank und keine RIS-Abfrage. Geprüft wird ausschließlich: deckt der Text der zitierten Passage den Satz der Antwort.
• In der Voreinstellung prüft dasselbe Modell, das die Antwort geschrieben hat. Eine Prüfung durch ein Modell einer anderen Familie ist vorgesehen und konfigurierbar, aber nicht der Auslieferungszustand. Ein Selbstcheck teilt die blinden Flecken des Autors.
• Im laufenden Chat kommt der Vermerk nach dem Text. Die Antwort wird tokenweise gestreamt; der Prüfvermerk erscheint danach. Eine abgelehnte Antwort stand also bereits auf dem Bildschirm.
• Bei teilweise geprüft bleibt der Fließtext unverändert. Gefiltert wird die strukturierte Aussagenliste; der Satz steht weiterhin im Text. Der Vermerk sagt Ihnen, dass Sie ihn nachlesen müssen — er streicht ihn nicht.
• Prüfung B ist bei technischem Ausfall durchlässig. Fällt sie aus, gilt die Antwort als unbeanstandet.
• Niemand prüft, ob die zitierte Fassung noch gilt. Dazu unten mehr.

Kurz: Der Verifier senkt die Wahrscheinlichkeit, dass ein nicht belegter Satz unbemerkt stehen bleibt. Er ersetzt Ihre Endkontrolle nicht und ist nicht dazu ausgelegt.

---