Agenten-Protokolle lesen: Fehlverhalten finden und beheben

Wenn ein Agent sich seltsam verhält, liegt der Fehler selten in einer Codezeile. Das Sprachmodell trifft unterwegs Entscheidungen: Es sucht viermal dasselbe, übergeht eine Fehlermeldung oder nennt eine Zahl, ohne nachzusehen. Finden lässt sich das nur im Verlauf des Laufs, im Protokoll.

Dieses Arbeitsheft zeigt, wie du ein Protokoll im JSON-Lines-Format schreibst, liest und auswertest. Eine Leseanleitung in sechs Schritten führt vom Ende des Laufs über die Werkzeugspur bis zum Befund in einem Satz. Zehn Fehlverhaltensmuster sind mit Erkennungsmerkmal und Abhilfe beschrieben, und ein kleines Python-Skript erkennt sie automatisch.

Geübt wird an acht echten Protokollausschnitten, erzeugt mit einer Modell-Attrappe statt eines echten Modells, jeweils mit Auflösung. Dazu kommen ein Auswertungsbogen, eine Zuordnungstabelle von Symptom über Ursache bis Stellschraube und zehn Prompts, mit denen ein KI-Assistent lange Protokolle zusammenfasst und vergleicht.

Für wen? Für Entwicklerinnen, Entwickler und Betreiber, deren Agent sich unerwartet verhält, mit Grundkenntnissen in Python und JSON.

Wichtig: Die automatische Mustererkennung hilft beim Finden, sie ersetzt keine eigene Prüfung. Protokolle können vertrauliche Daten enthalten; vor der Weitergabe an einen KI-Chat bereinigen. Unabhängiger Leitfaden, kein Produkt von Anthropic und nicht mit Anthropic verbunden. Stand: Oktober 2026. Funktionen, Befehle und Preise ändern sich – prüfe die offizielle Dokumentation. Mit KI-Unterstützung erstellt.