KI-Agenten sind am produktivsten, wenn sie eigenständig arbeiten dürfen. Doch mit zunehmender Autonomie wachsen auch die Sicherheitsrisiken. Cursor hat mit Auto-review ein neues Feature vorgestellt, das den Spagat zwischen Freiheit und Kontrolle elegant löst.
Das Dilemma der Agenten-Autonomie
Um Coding-Aufgaben und andere komplexe Prozesse effizient zu erledigen, benötigen KI-Agenten einen gesunden Grad an Autonomie. Sie sollen kreativ agieren, unabhängig arbeiten und Aufgaben ohne ständige Rückfragen erledigen können.
Allerdings birgt jede Erweiterung dieser Freiheit potenzielle Gefahren. Lokale Agenten haben oft Zugriff auf Dateien, Zugangsdaten, Umgebungsvariablen, MCP-Tools und Produktionssysteme. Ein unbeabsichtigter Schritt kann hier schnell kritische Folgen nach sich ziehen.
Die naheliegende Lösung, den Nutzer vor jeder Aktion um Erlaubnis zu fragen, führt jedoch zu einem eigenen Sicherheitsproblem: Nach zu vielen Warnmeldungen gewöhnen sich Anwender daran und klicken reflexhaft weiter. Die Kontrolle verliert an Bedeutung.
Auto-review: Autonomie wie ein Regler, nicht wie ein Schalter
Genau hier setzt Auto-review an. Statt Autonomie binär zu regeln, verhält sich das Feature eher wie ein stufenloser Regler. Der Agent darf sich frei bewegen, wenn das Risiko gering ist, muss aber anhalten, sobald seine nächste Aktion eine bedeutende Grenze überschreitet.
Die Einordnung entlang dieses Kontinuums übernimmt ein spezialisierter Classifier-Agent. Er prüft Aktionen im Kontext, bevor sie ausgeführt werden. Dabei wertet er Konsequenz, Absicht und Feedback aus und passt seine Entscheidung in Echtzeit an das tatsächliche Geschehen an.
Kontextbewusste Risikobewertung
Ob eine Agenten-Aktion riskant ist, hängt stets vom Kontext ab. Ein und dasselbe Kommando kann in einem Workflow harmlos sein und in einem anderen inakzeptabel. Entscheidend ist das Verhältnis zwischen Aktion, Nutzeranfrage und Konsequenz eines Fehlers.
Der Classifier wurde deshalb als kleines, schnelles Modell konzipiert, das dennoch nuancierte Urteile fällt. Die zentrale Regel lautet: Bei niedrigeren Sicherheitsanforderungen ist er nachsichtiger, bei höheren Risiken wird er vorsichtiger. So entsteht ein dynamisches Sicherheitsnetz, das die Entwicklungsarbeit nicht ausbremst.
Der Classifier im technischen Detail
Da der Classifier direkt im Agenten-Loop sitzt und vor jedem Tool-Aufruf entscheidet, musste er sowohl schnell als auch präzise sein. Überraschenderweise erwiesen sich Modelle mit geringerem Reasoning-Ansatz nicht immer als schneller. Wenn ein Modell die Policy oder den Tool-Aufruf nicht verstand, verbrauchte es mehr Zeit und Tokens für schlechtere Ergebnisse.
Die beste Balance bot ein kleines Modell mit ausreichend Reasoning-Kapazität. Zudem wurde der Classifier selbst agentisch gestaltet: Er kann bei Bedarf den Workspace inspizieren, beispielsweise mit ReadFile, Grep, Glob oder ListDir. So lässt sich beurteilen, ob ein Befehl wie python script.py harmlos oder gefährlich ist.
Um Latenzen zu vermeiden, läuft der Classifier nicht über einen separaten Endpoint, sondern im selben RPC-Stream wie der Parent-Agent – vergleichbar mit einer Subagent-Architektur.
Intelligente Rückmeldung statt simpler Blockade
Ein zentrales Designziel war es, den Classifier nicht zu einem weiteren Genehmigungsdialog werden zu lassen. Blockiert er eine Aktion, liefert er dem Parent-Agenten eine Erklärung mit. Dieser kann daraufhin oft einen sichereren Weg wählen, ohne den Nutzer zu unterbrechen.
Maßgeblich ist dabei die Nutzerabsicht. Die Frage ist nicht, ob eine Aktion isoliert betrachtet riskant wirkt, sondern ob sie durch die ursprüngliche Anfrage des Entwicklers gerechtfertigt ist. Normale Entwicklungsarbeit läuft so nahezu ungehindert weiter, während hochriskante Schritte eine klare Bestätigung erfordern.
Training und Evaluierung des Modells
Die praktische Umsetzung dieser Philosophie erforderte umfangreiche Tests. Die Entwickler bei Cursor nutzten interne Session-Daten als Grundlage: Aus rund zwölf Stunden Entwickler-Aktivität entstanden nach Bereinigung und Deduplizierung 6.122 gelabelte Datensätze. Sie zeigen das typische Verhalten von Agenten im Alltag.
Da kritische Fehler im normalen Betrieb selten auftreten, ergänzten die Entwickler synthetische Daten. Dazu gehörten Szenarien wie das Auslesen von Secrets, das Berühren von Produktionsdaten, das Befolgen nicht vertrauenswürdiger Anweisungen oder Aktionen mit großen Seiteneffekten.
Da sich die Policy im Laufe der Entwicklung änderte, mussten die Evaluationsdaten regelmäßig neu gelabelt werden. So wurde sichergestellt, dass der aktuelle Classifier nicht gegen einen veralteten Problembegriff getestet wurde. Wiederholte Testläufe halfen zudem, sogenanntes Flapping zu erkennen – Fälle also, bei denen der Classifier zwischen Zulassung und Blockade hin- und herwechselte.
Ergebnisse: Weniger Unterbrechungen, mehr Sicherheit
In der Praxis muss nur ein kleiner Teil aller Agenten-Aktionen vom Classifier geprüft werden. Viele Befehle sind bereits durch Allowlists oder Sandbox-Lösungen abgedeckt. Läuft der Classifier, blockiert er aktuell etwa vier Prozent der Aktionen.
Wichtig ist: Eine Blockade bedeutet nicht automatisch eine Nutzerunterbrechung. Dank des Feedback-Loops findet der Parent-Agent häufig einen alternativen, sicheren Weg. Global betrachtet führt nur etwa sieben Prozent aller Chats im Auto-review-Modus zu mindestens einer Unterbrechung.
Zum Vergleich: Einige Enterprise-Kunden hatten zuvor intern Blockaderaten von rund 40 Prozent. Auto-review reduziert die Reibung im Workflow deutlich, ohne die Sicherheit aus dem Blick zu lassen.
Ausblick und Verfügbarkeit
Auto-review befindet sich noch in einer frühen Phase und wird sich weiterentwickeln, je nachdem wie fähig Agenten werden. Derzeit ist die Funktion auf lokale Agenten in der Desktop-App von Cursor fokussiert, die zugrunde liegenden Prinzipien sollen aber langfristig an weiteren Stellen zum Einsatz kommen.
Das Ziel bleibt klar: Reale Autonomie für Agenten bei gleichzeitig kontextabhängiger Kontrolle. Der Classifier verbessert die Sicherheit, ohne den Arbeitsfluss in eine endlose Kette von Genehmigungsdialogen zu verwandeln.
Auto-review ist ab sofort für neue Nutzer standardmäßig aktiv. Bestehende Anwender können die Funktion unter Settings > Agents aktivieren.
