Fak-Fakten

Stellen wir uns einen ganz normalen Aktenordner vor.

Die Unterlagen wirken vollständig. Man liest sie sorgfältig. Die Schlussfolgerung passt zu allem, was im Ordner liegt.

Später taucht eine fehlende Seite auf.

Und plötzlich sieht derselbe Fall anders aus.

Das Problem lag dann nicht zwingend in der Logik der Prüfung. Es lag in der Grundlage, auf der geprüft wurde.

Bei der Bewertung von KI-Systemen kann genau dieses Problem entstehen.

Wir sehen selten „das ganze System“

Wer ein KI-System bewertet, arbeitet normalerweise mit einem begrenzten Ausschnitt:

• Transkripten,
• Logs,
• Screenshots,
• Dokumentationen,
• Tool-Spuren,
• Systemaussagen,
• Operator-Notizen,
• rekonstruiertem Kontext.

All diese Dinge können sehr wertvoll sein. Aber sie sind nicht identisch mit dem System selbst.

Sie sind Evidenzobjekte.

Und wenn ein relevanter Teil dieser Evidenz fehlt, kann eine Schlussfolgerung intern vollkommen konsistent wirken – und trotzdem falsch sein, sobald der vollständige Sachstand vorliegt.

Ein begrenzter Fall zeigte genau dieses Muster

In einem dokumentierten, begrenzten Evaluationskontext wurde zunächst ein Evidenzbestand ausgewertet, der vollständig genug wirkte, um eine Schlussfolgerung zu tragen.

Die Analyse war mit dem damals verfügbaren Material konsistent.

Später wurde fehlende Evidenz aus der relevanten Interaktion wiederhergestellt.

Damit änderte sich die Tatsachengrundlage.

Der Fall musste neu analysiert werden – und die frühere Schlussfolgerung wurde zurückgezogen.

Das ist kein „wissenschaftlicher Beweis“ für eine allgemeine Eigenschaft aller KI-Evaluationen. Es validiert keine bestimmte Architektur und zertifiziert kein System.

Es zeigt lediglich einen sehr realen Bewertungsfehler, der leicht übersehen werden kann:

Evidenzfehler kann wie Systemfehler aussehen.

Vier einfache Zustände helfen beim Denken

Eine der nützlichsten Disziplinen besteht darin, wichtige Aussagen nicht sofort als „wahr“ oder „falsch“ zu behandeln, sondern zunächst zu fragen, welchen Status sie überhaupt haben.

OBSERVED – direkt im begrenzten Material beobachtet.

DECLARED – von einem System, Hersteller, Operator oder Dokument behauptet, aber durch die Aussage allein noch nicht bewiesen.

INFERRED – eine Schlussfolgerung, die aus der vorhandenen Evidenz gezogen wird.

UNKNOWN – durch das vorhandene Material nicht geklärt.

Diese Unterscheidung wirkt banal. In der Praxis verhindert sie aber, dass eine Behauptung unbemerkt zu einem „Fakt“ wird oder dass beobachtetes Verhalten vorschnell als Beweis für einen technischen Mechanismus behandelt wird.

Kontext ist nicht automatisch Provenienz

Ein KI-System kann eine Information korrekt verwenden, ohne dass der Evaluator bereits sicher weiß, woher genau diese Information stammt.

Kam sie aus dem aktuellen Gespräch? Aus einem Projektkontext? Aus Retrieval? Aus einer gespeicherten Information? Aus einer verbundenen Quelle? Aus Modellwissen?

Dass Information vorhanden war, beantwortet noch nicht automatisch die Frage nach ihrer Herkunft.

Das wird besonders wichtig, sobald aus einer Bewertung Konsequenzen entstehen sollen: eine Eskalation, eine technische Nachbesserung, ein Lieferantenproblem, eine Compliance-Prüfung oder die Entscheidung, einen Workflow zu stoppen.

Die stärkere Frage kommt vor der starken Schlussfolgerung

Vor der Frage:

„Was hat die KI falsch gemacht?“

lohnt sich manchmal eine andere:

„Was wissen wir tatsächlich – und ist unser Evidenzbestand vollständig genug für die Stärke dieser Behauptung?“

Denn eine bessere Analyse kann einen unvollständigen Datensatz nicht reparieren.

Im schlechtesten Fall produziert sie nur eine immer raffiniertere falsche Schlussfolgerung.

Aus dem Fall wurde ein praktisches Arbeitsinstrument

Aus dieser Arbeit ist inzwischen der erste Builder Field Guide von Tamiya Premium+® entstanden:

EVIDENCE BEFORE INFERENCE — Builder Field Guide 01

Transcript Integrity, Provenance and Correctable Conclusions in AI-System Evaluation

Der Guide übersetzt den begrenzten Befund in ein kompaktes Arbeitsinstrument für Menschen, die beruflich mit KI-Evaluation, Governance, Risiko, agentischen Workflows oder AI-gestützten Entscheidungen arbeiten.

Er enthält unter anderem die vier Evidence States, die Trennung von Claim und Evidence, Context und Provenance, Behavioral Compatibility und Validation sowie einen 12-Fragen-Check vor starken Schlussfolgerungen.

Digital PDF · 21 Seiten · Englisch · €49 netto · ausschließlich B2B.

Transparenzhinweis

Der zugrunde liegende Fall stammt aus einem begrenzten Evaluationskontext und ist durch zeitnahe interne Aufzeichnungen dokumentiert. Der vollständige private Evidenzkorpus ist nicht öffentlich. Der öffentlich verwendete Befund ist bewusst eng kalibriert. Es handelt sich nicht um unabhängige Replikation, Zertifizierung oder Validierung eines gesamten Systems oder einer Architektur.