Agentic AI stellt völlig neue Anforderungen an die Recheninfrastruktur. Mit AgentPerf hat Artificial Analysis den ersten branchenweiten Benchmark veröffentlicht, der gezielt agentische KI-Workloads misst. In der ersten Ergebnisrunde setzt sich die NVIDIA Blackwell Ultra NVL72 an die Spitze und unterstützt bis zu 20-mal mehr gleichzeitige KI-Agenten pro Megawatt als die Vorgängergeneration Hopper.
Wir fassen die wichtigsten Ergebnisse zusammen und zeigen, warum klassische KI-Benchmarks für Agenten-Anwendungen an ihre Grenzen stoßen.
Warum Agentic AI einen neuen Benchmark braucht
Bisherige Inference-Benchmarks messen isolierte LLM-Aufrufe: Wie schnell antwortet ein Modell auf eine einzelne Anfrage? Agentische KI funktioniert jedoch wie ein Staffellauf. Ein Agent zerlegt ein Ziel in Dutzende oder Hunderte von Schritten, verknüpft LLM-Aufrufe mit Tool-Executions wie Code-Kompilierung, Datenbanksuche oder Websuche und übergibt dabei stetig wachsende Kontexte.
Diese Komplexität ist nicht additiv, sondern multiplikativ. Für Unternehmen, die Agenten im großen Maßstab einsetzen, zählen daher andere Kennzahlen: Wie reaktionsschnell sind Agenten, wie viele lassen sich parallel betreiben und wie viel Nutzarbeit liefert jede investierte Dollar- und Watt-Leistung?
Realistische Workloads statt isolierter LLM-Aufrufe
AgentPerf basiert auf echten Coding-Agenten-Trajektorien aus öffentlichen Code-Repositorien über mehr als 12 Programmiersprachen. Der Agent erhält eine Aufgabe, liest Dateien, schreibt und editiert Code, führt Befehle aus und iteriert auf Basis der Ergebnisse. Die langen Sequenzen, Tool-Call-Muster und Verzögerungen entsprechen realen Entwickler-Workflows. Der Benchmark misst, wie viele solcher agentischen Aufgaben eine Plattform gleichzeitig unterstützt, ohne definierte Schwellen für Reaktionszeit und Output-Token-Rate zu unterschreiten.
NVIDIA Blackwell Ultra NVL72 liefert Spitzenwerte
In der ersten Runde von AgentPerf, gemessen mit dem großen MoE-Modell DeepSeek V4 Pro, erreicht die GB300 NVL72 die höchste Performance. Das System verbindet 72 GPUs in einem einzigen Rack-System und ermöglicht es, große Mixture-of-Experts-Modelle effizient zu verteilen.
20-fache Effizienz pro Megawatt
Gegenüber dem NVIDIA HGX H200 laufen auf Blackwell Ultra NVL72 bis zu 20-mal mehr Agents pro Megawatt. Dieser Vorteil zeigt sich sowohl bei einem Service-Level-Objective von 20 als auch von 60 Tokens pro Sekunde pro Agent. Für Datencenter bedeutet das deutlich mehr produktive Arbeit pro Energieeinheit.
Optimierung über den gesamten Stack
Der Performance-Vorteil resultiert aus extremem Codesign über den kompletten Stack. CUDA-Kernels beschleunigen den Betrieb, indem sie Kommunikation und Berechnung überlappen, sodass Koordinationskosten bei Experten-Modellen die Latenz nicht erhöhen. NVIDIA TensorRT LLM hält die Effizienz auch bei steigender Zahl gleichzeitiger Agent-Sitzungen aufrecht, indem es die Verarbeitung von Eingaben und die Generierung von Ausgaben trennt und beide unabhängig optimiert.
Erste Praxisbeispiele mit Blackwell
Bereits heute setzen Inference-Provider wie Baseten, DeepInfra und Together AI NVIDIA Blackwell für agentische Workloads ein. Together AI versorgt die KI-Coding-Plattform Cursor mit Echtzeit-Inference: Agenten debuggen Code, generieren Features und führen Refactorings durch, während Entwickler parallel arbeiten. DeepInfra betreibt Pam.ai, eine KI-Workforce-Plattform für Autohäuser, die auf Blackwell-Agenten Service-Termine bucht, Anrufe entgegennimmt und Outbound-Sales-Kampagnen steuert.
Fazit und Ausblick
AgentPerf liefert erstmals belastbare Kennzahlen für die Agentic-AI-Infrastruktur. NVIDIA Blackwell beweist in diesem Umfeld eine herausragende Effizienz. Mit der nun in Vollproduktion befindlichen NVIDIA Vera Rubin-Architektur rüstet sich das Ökosystem bereits für die nächste Generation agentischer KI-Anwendungen.
Quelle: https://blogs.nvidia.com/blog/nvidia-blackwell-agentperf-artificial-analysis/
