Testfälle für Agenten automatisieren: Eine Eval-Suite aufbauen

Du änderst die Anweisung deines Agenten, und drei Antworten werden besser. Ob zwanzig andere schlechter geworden sind, siehst du erst mit einer festen Sammlung von Prüfaufträgen, die nach jeder Änderung vollständig läuft: einer Eval-Suite.

Dieser Leitfaden führt in acht Schritten vom ersten Testfall zur regelmäßigen Auswertung. Er vergleicht vier Bewertungsarten (fester Abgleich, Regel, KI-Bewertung, Mensch) mit Stärken und Schwächen und liefert eine Testfall-Vorlage mit sechs Feldern und fünfzehn Beispielen für einen erfundenen Laden-Agenten.

Die Suite selbst ist in reinem Python umgesetzt und vergleicht zwei Agenten-Versionen Fall für Fall. Das Beispiel zeigt bewusst eine Falle: Die bessere Version fällt bei zwei Fällen durch, weil die Tests zu streng sind. Dazu zehn Prompts zum Erzeugen von Testfällen und Regeln, sechs Übungen mit Lösung, eine Auswertungstabelle als CSV-Vorlage und acht typische Fehlschlüsse bei der Auswertung.

Für wen? Für Fortgeschrittene, die Änderungen an ihren Agenten nachweisbar machen wollen und Python sicher beherrschen.

Wichtig: Die Agenten im Heft sind Attrappen mit festen Regeln, der KI-Richter ebenfalls; ein echter KI-Richter wird beschrieben, aber nicht ausgeführt. Eine Suite misst nur, was in ihr steht. Unabhängiger Leitfaden, nicht mit einem Modell- oder Werkzeuganbieter verbunden. Stand: Oktober 2026. Funktionen, Befehle und Preise ändern sich – prüfe die offizielle Dokumentation deiner Werkzeuge. Mit KI-Unterstützung erstellt.