Ein Benchmark ist ein Satz von Evaluierungsszenarien, die automatisch gegen eine Pipeline abgespielt werden. Es ist das Werkzeug, um die Qualität eines Agents objektiv zu messen und Regressionen zu erkennen, bevor sie die Produktion erreichen.
Warum
Ein Agent, der „zu funktionieren schien“, kann still regressieren nach:
- einer Missionsänderung;
- einem Wechsel des LLM-Modells;
- dem Hinzufügen eines neuen Tools.
Ohne Benchmark entdecken Sie es in der Produktion. Mit einem Benchmark sehen Sie es beim nächsten Lauf — vor Ihren Benutzern.
Anatomie eines Szenarios
Ein Szenario enthält:
- Einen Stimulus — die Eingabe, die die Pipeline erhält (Nachricht oder Folge von Schritten, Daten-Fixtures).
- Checks — explizite Zusicherungen, die bei jedem Schritt ausgewertet werden: die erzeugte Ausgabe, die Form der Antwort, die Kette der Tool-Aufrufe, die Kosten der Aktionen.
Katalog der Checks
| Check | Prüft |
|---|---|
pipeline_output_match | Ein Schlüssel des Ausgabeflusses entspricht dem erwarteten Wert (Pfad + Zusicherung) |
response_shape | Die Form der Agent-Antwort (Länge, Struktur), ohne Richter gemessen |
llm_rubric | Den Inhalt der Antwort, bewertet von einem LLM-Richter anhand einer Rubrik überprüfbarer Kriterien |
tool_chain_analysis | Die Abfolge der Tool-Aufrufe folgt der erwarteten Strategie |
tool_cost | Das Aktionsbudget: Jeder Aufruf hat Kosten, das Erreichen des Ziels bringt einen Bonus |
static / tests / diff_quality | Datei- und codeorientierte Checks (Ausgabe einer Entwicklungs-Pipeline) |
Der Katalog ist plattformseitig erweiterbar: Jeder Check ist ein serverseitig registriertes Plugin.
Einen Benchmark erstellen
- Anwendungen → Evaluierung → Szenarien.
- Erstellen Sie die Szenarien (Stimulus, Checks, Daten-Fixtures); jedes Szenario ist einem Modell (der Ziel-Pipeline) zugeordnet. Die Fixtures werden im Reiter Fixtures verwaltet.
Ein Szenario kann auch per Vorschlag über den MCP-Server erstellt oder geändert werden (benchmark_create / benchmark_update); der Vorschlag bleibt ausstehend, bis er angenommen wird.
Ein guter Benchmark enthält eine Mischung: Normalfall, Randfälle, adversariale Fälle (Manipulationsversuche, Mehrdeutigkeit, fehlende Daten).
Einen Benchmark ausführen
Starten Sie im Adminbereich einen Lauf (Run): Er wird in eine dauerhafte Warteschlange gestellt und dann von einem dedizierten Worker außerhalb des Webservers ausgeführt. Stoppt dieser Worker mitten im Run, wird der Run beim Neustart als fehlgeschlagen markiert (er wird nicht automatisch fortgesetzt): Starten Sie ihn erneut. Ein Drawer zeigt das Detail pro Szenario.
Der Bericht zeigt:
- Erfolgsquote pro Check
- Entwicklung der Scores zwischen den Läufen (Reiter Verlauf und Entwicklung)
- Liste der fehlgeschlagenen Szenarien, mit dem Detail jedes Checks
Bewährte Praktiken
- Klein anfangen — 5 gut gezielte Szenarien sind mehr wert als 50 ungefähre.
- Vor jeder Veröffentlichung benchmarken und vor dem Ausrollen mit dem vorherigen Lauf vergleichen.
- Missionen versionieren. Nicht nur Pipelines: Auch Missionen entwickeln sich weiter.
- Checks lesbar halten. Ein Check, der 20 Zeilen Erklärung braucht, um verstanden zu werden, muss aufgeteilt werden.