Agent Wiki Topic
Agent Evals
Messbare Agentenqualitaet: Benchmarks, Review-Schleifen, Playtests, Regressionen und Proof Gates.
Agentenlesbare Einstiegspunkte
Verwandte Seiten
blog
Agent Plugins sind npm für Agent-Verhalten — aber ohne Lockfile
Agent Plugins machen aus Skills und MCP-Konfigurationen ein portables Paket. Der Guide zeigt den kleinsten Aufbau, die Integration in mehrere Clients sowie die fehlenden Produktionskontrollen für Permissions, Updates, Evals und Rollback.
blog
Dein AI Agent lernt nichts aus seinen Runs
Ein Agent verbessert sich nicht, nur weil seine Runs gespeichert werden. Ein Knowledge Flywheel extrahiert aus mehreren Runs belegte Lessons, prüft Widersprüche, versioniert das Ergebnis und liefert dem nächsten Agenten nur das Wissen, das zu seinem Task passt.
blog
Graph Engineering beginnt dort, wo Routing zum Produktverhalten wird
Graph Engineering ist nicht das Zeichnen komplexer Agentendiagramme. Es beginnt dann, wenn Retry, Eskalation, Evidenzprüfung oder menschliche Freigabe sichtbares und testbares Produktverhalten werden.
blog
Dein Agent scheiterte drei Schritte vor dem Fehler
Bei langen Agentenläufen ist der letzte Fehler oft nur das Symptom. Der bessere Debugging-Loop sucht den frühesten kausal verantwortlichen Schritt, formuliert eine minimale Korrektur und prüft sie in einem kontrollierten Rerun.
blog
Simple Graph-RAG halbiert Halluzinationen – ohne komplexes Knowledge Graph Schema
Vector-RAG + einfacher Document-Graph halbiert Halluzinationen auf komplexen QA-Aufgaben im MoNaCo-Benchmark. Die Erkenntnis: Man braucht kein komplexes Knowledge Graph Schema – nur strukturierte Navigation über Dokumente.
blog
Von 'Prompt-Klappern' zu Prompt-Debugging
Prompt-Optimierung ist kein Suchproblem mehr — es ist ein Debugging-Problem. Contrastive Reflection liefert das Framework, um Fehler gezielt zu fangen, statt blind zu raten.
blog
Teste deine Coding-Agent-Instruktionen wie Code
Eine gute AGENTS.md ist kein Prompt-Dokument, das man einmal schreibt. Sie ist ein kleines Betriebshandbuch fuer den Agenten. Und Betriebshandbuecher werden besser, wenn man sie gegen konkrete Fehler testet.
blog
Automatisch generierte Agent Skills brauchen eine Supply Chain
Das OpenClaw-Skill-Paper ist ein starkes Signal: Agent Skills werden nicht nur manuell geschrieben, sondern aus Trajektorien, Skill-Bäumen und Transfer-Evals gelernt. Aber genau das macht eine Skill-Supply-Chain wichtiger, nicht unwichtiger.
tools
Is This Agentic Change Good?
Dieser Skill prüft Branches, die zukünftiges Agent-Verhalten verändern. Er sammelt lokale Git-Evidenz, bewertet Skill-Kollisionen, Kontextbudget, Sicherheitsrisiken und Runtime-Sichtbarkeit, bevor ein Merge empfohlen wird.
blog
RAG 2026: Vergiss GraphRAG als Default
RAG wird 2026 nicht dadurch besser, dass man GraphRAG auf alles wirft. Der robuste Default ist Contextual Hybrid RAG: saubere Ingestion, BM25 plus Embeddings, Reranking, Quellenpflicht und harte Evals.
blog
AGENTS.md ist kein Kontext. Es ist eine Steuerfläche.
Die überraschende Lektion aus AGENTS.md-Benchmarks ist nicht, dass Kontextdateien nutzlos sind. Sie verändern Agent-Verhalten, manchmal in Richtung teurerer und weniger nützlicher Arbeit. Behandle sie als Steuerfläche, nicht als Repo-Handbuch.
blog
Agenten brauchen Runtime Contracts, nicht längere Prompts
Bessere Prompts machen Agenten nicht automatisch zuverlässig. Entwickler brauchen Runtime Contracts: explizite Verträge dafür, welche Tools ein Agent nutzen darf, was er erinnern darf, wann er stoppen muss und wie seine Behauptungen geprüft werden.
blog
Bewerte KI-Code nicht am Diff
Besseres KI-Coding entsteht nicht primär durch bessere Prompts, sondern durch den Harness um das Modell: explizite Contracts, getrennte Builder- und Reviewer-Rollen, Belege und eine Schleife, die Fehler in bessere Spezifikationen zurückführt.
blog
Deine KI-generierte UI braucht einen Playtester, keinen Screenshot-Review
KI-generierte Interfaces sehen oft fertig aus, bevor sie sich korrekt verhalten. Eine GUI-Playtester-Loop schickt einen separaten Browser-Agenten in die App, protokolliert Interaktionen, speichert Screenshots und Logs, macht aus kaputten Flows reproduzierbare Bug Reports und rerunnt denselben Test nach dem Fix.
blog
Hör auf, KI zum kritischen Selbstcheck zu bitten
Offene Anweisungen wie „prüf das kritisch“ belohnen das Modell ungewollt dafür, Kritik zu produzieren. Die Lösung ist nicht weniger Review, sondern kalibriertes Review: klare Kriterien, PASS_NO_CHANGE, Evidenz pro Finding, Severity-Schwellen und ein kleines Änderungsbudget.
blog
AGENTS.md reicht nicht: Dein Coding Agent braucht einen Harness
Ein Coding Agent wird nicht durch einen magischen Prompt zuverlässig. Er braucht einen Harness: AGENTS.md, Skills, Tool-Permissions, Hooks und Evals, die merken, wenn sich sein Verhalten verschiebt.
blog
gib jedem Kundenprojekt einen kleinen Agenten
Der nützliche Move ist nicht ein Mega-Assistent für alle Kunden. Gib jedem Kundenprojekt einen kleinen, isolierten Agenten mit eigener Erinnerung, Aufgabenliste, Preview-URL-Gewohnheit und langweiligem Daily Standup.
blog
Prompt Decomposition: So zerlegst du KI-Aufgaben richtig
Nach Context Engineering kommt Decomposition: Entwickler sollten nicht alles in einen Prompt stopfen, sondern Aufgaben in direkte Prompts, Subtasks, Pipelines, Agent-Loops oder Skills zerlegen.
blog
LLM-native Entwickler brauchen mehr als gute Prompts
Die nächste Entwicklerfähigkeit ist nicht der cleverste Prompt. Es ist das Betriebssystem um LLMs herum: Datenqualität, Model-Versioning, Evals, Guardrails, Incident Response, Review-UX und Repo-Anweisungen, denen Agents wirklich folgen können.
blog
Prompting ist tot. Context zählt.
2026 geht es nicht mehr um den einen magischen Prompt. Der bessere Ansatz: Kontext wählen, Tools und Schemas definieren, Agent-Regeln setzen und mit Evals prüfen.
blog
Hermes Agent: Self-Review statt One-Shot
Hermes wird interessant, wenn ein Agent nicht nur liefert, sondern die eigene Arbeit reviewed: ausführen, messen, kritisieren, Skill umbauen, nochmal laufen lassen. Der Nutzen entsteht vor allem bei wiederholbaren Workflows.
blog
AI-first Architektur: schneller entscheiden, sauber bleiben
AI-first Architektur heißt nicht: Modell entscheidet. Es heißt: KI erzeugt Optionen, findet Risiken, verdichtet Kontext — das Team entscheidet und dokumentiert nachvollziehbar.