AI Evals

Ein KI-Prompt wird geändert. Die neue Version klingt bei drei Beispielen besser. Aber hat sich die Rechnungsextraktion insgesamt verbessert? Ist eine andere Fähigkeit schlechter geworden? Für offene Antworten reichen klassische deterministische Prüfungen allein häufig nicht aus.

Evals messen das Modellverhalten anhand von Testfällen, die reale Aufgaben abbilden. Unit und Integration beschreiben den Testumfang; evals bewerten die Qualität von KI-Aufgaben und können beide Bereiche verwenden. Antworten können je nach Durchlauf variieren und mehrere Antworten können gültig sein. Evals verwenden genaue Überprüfungen auf Fakten und definierte Kriterien für offene Antworten. Wiederholte Durchläufe messen die Konsistenz, während Ergebnisprüfungen überprüfen, ob die Aktionen eines Agenten tatsächlich stattgefunden haben.

Prompt v1 → Testdaten → Ergebnisse
Prompt v2 → Testdaten → Ergebnisse