Auf der diesjährigen SIGGRAPH Konferenz in Los Angeles präsentiert NVIDIA bahnbrechende Fortschritte im Bereich neuronales Rendering, Physical AI und Agentic AI. Von Echtzeit-Weltmodellen bis hin zu lokalen KI-Agenten zeigt das Unternehmen, wie digitale Welten künftig entstehen und verstanden werden. In diesem Artikel fassen wir die wichtigsten Ankündigungen und Technologien für Sie zusammen.

Neuronales Rendering und Physical AI definieren die nächste Ära der Grafik

NVIDIA Forschungs- und Entwicklungsleiter nutzten die SIGGRAPH Keynote, um die neuesten Entwicklungen in neuronalen Renderverfahren, Weltmodellen und Simulation zu präsentieren. Diese Technologien verändern, wie digitale Welten in kreativen Tools, der industriellen Fertigung, Robotik und autonomen Systemen geschaffen und genutzt werden.

Jensen Huang betonte, dass Entwickler und Designer Werkzeuge benötigen, die leistungsstark genug sind, um die Vorstellungskraft zu erweitern, flexibel genug für kreative Freiheit und präzise genug, um die Vision exakt zu realisieren. Ziel sei es, virtuelle Welten mit der Treue und dem Realismus der physischen Welt zu erschaffen.

Fortschritte in der neuronalen Bildsynthese

Edward Liu, Director of Applied Deep Learning Research, stellte 3D-gesteuertes neuronales Rendering vor. Die Technologie adressiert Herausforderungen wie die Wahrung künstlerischer Absicht, zeitliche Stabilität über Frames hinweg und die Darstellung von 4K-Inhalten in Echtzeit. Liu beschrieb KI als natürliche Erweiterung der Grafik, vergleichbar mit programmierbaren Shadern und Raytracing.

KI-gestützte Physiksimulation

Neil Ashton präsentierte Innovationen im Bereich AI Physics mit Anwendungen in der Wettervorhersage, der Fahrzeug-Aerodynamik und der thermischen Auslegung. Im Klimaforschungsprojekt NVIDIA Earth-2 steigern offene KI-Modelle die Auflösung von Simulationen bei gleichbleibender Genauigkeit im Vergleich zu klassischen Verfahren. Ashton demonstrierte eine millionenfache Komprimierung von Modelldaten auf wenige hundert Megabyte, was physikalisch korrekte Visualisierungen innerhalb einer Sekunde ermöglicht.

Cosmos 3 Edge bringt Weltmodelle auf Edge-Geräte

Ming-Yu Liu, Vice President of Cosmos Lab, stellte Neuerungen bei NVIDIA Cosmos vor, einer Plattform zur Beschleunigung physischer KI-Systeme. Das Rückgrat bildet eine Mixture-of-Transformers-Architektur, die globales physikalisches Verständnis über verschiedene Anwendungsbereiche ermöglicht. Ein neues Modell namens Cosmos 3 Edge kommt mit vier Milliarden Parametern und ist für den Echtzeitbetrieb direkt auf dem Endgerät optimiert.

Mit Cosmos-Dreams stellte NVIDIA zudem geschlossene Simulatoren vor, die ganze Welten aus einem einzelnen Frame generieren. Entwickler können damit Modelle vor dem Deployment verifizieren oder seltene Szenarien für das Training generieren.

Anwendungsfelder für Edge-basierte Physical AI

Das kompakte Weltmodell versteht und generiert Text, Bilder, Videos, Umgebungsgeräusche und Aktionen. Es eignet sich für Robotik, wo es auf NVIDIA Jetson Thor für Steuerungsrichtlinien in Echtzeit genutzt wird, für autonome Fahrzeuge zur Verkehrs- und Verhaltensvorhersage sowie für smarte Infrastruktur bei der Überwachung von Logistik und öffentlichen Einrichtungen.

KI-Agenten erweitern kreative Tools für Millionen Nutzer

Führende Kreativanwendungen integrieren das Model Context Protocol (MCP), damit KI-Agenten direkt in Szenen, Timelines und Assets eingreifen können. Der kreative Entscheidungsprozess bleibt dabei stets in menschlicher Hand. Anwendungen werden dadurch nicht nur schneller, sondern agent-ready.

Workflows von Beschleunigung zu autonomer Unterstützung

Über MCP verbundene Tools ermöglichen es Künstlern, Agenten zu beauftragen, Szenen auf fehlende Texturen zu prüfen, Farbmanagement zu korrigieren, Exportvarianten vorzubereiten oder Shots gegen Pipeline-Regeln zu validieren. NVIDIA RTX PRO Workstations sowie DGX Spark und DGX Station Systeme bringen die nötige KI-Leistung direkt an den Arbeitsplatz.

Kreative Ökosysteme öffnen sich für Agenten

Zahlreiche Softwarehersteller haben bereits MCP-Unterstützung angekündigt oder implementiert:

• Adobe: Erweiterung des Creative Agents über Firefly, Express und Creative Cloud für mehrstufige Workflows.
• Affinity by Canva: AI Connector für Claude ermöglicht natürlichsprachliche Automatisierung von Produktionsaufgaben.
• Blender: MCP Server über Blender Lab bietet eine natürlichsprachige Schnittstelle zur Python-API.
• Boris FX Silhouette: MCP Server erlaubt Assistenten das direkte Arbeiten in Projekten mit Node Trees und Keyframes.
• Foundry Griptape: Unterstützt MCP nativ für die Automatisierung von VFX-Produktionsaufgaben.
• SideFX: Bringt MCP-Unterstützung für Houdini 22 über APEX Script, um Code für prozedurale Charakter-Rigs zu generieren.
• Unreal Engine: Verbindet AI-Clients über MCP mit dem Unreal Editor für standardisierte Workflows.

NVIDIA AI for Media erkennt synthetische Videos

In Zeiten, in denen Video das dominante Informationsmedium ist, ist der Erhalt von Vertrauen in Medien essenziell. NVIDIA stellte auf der SIGGRAPH den Synthetic Video Detector NIM Microservice als Teil der NVIDIA AI for Media Plattform vor. Der Dienst analysiert Videos frame-by-frame und liefert einen Klassifikator-Score, der synthetischen Content erkennt.

Redaktionen können diesen Score nutzen, um Material zur Prüfung vorzumerken oder fragwürdige Aufnahmen zu kennzeichnen. Der Detektor bleibt auch nach Komprimierung und Re-Encoding wirksam und läuft effizient auf NVIDIA RTX Systemen in 1080p. Damit lässt er sich nah an Aufnahme-, Speicher- oder Verteilungsorten betreiben und gewährleistet Datensouveränität.

Super Agents lokal auf der DGX Station

Mit dem NVIDIA DGX Station als Desktop-Supercomputer und dem NVIDIA Agent Toolkit können Entwickler persönliche KI-Agenten lokal und ohne Internetverbindung betreiben. Das Toolkit integriert mehrere Komponenten in ein abgeschlossenes System.

• NVIDIA NeMo Claw: Offene Blueprints für autonome Agenten.
• NVIDIA Nemotron 3 Ultra: Ein offenes 550-Milliarden-Parameter-Modell als zentrale Intelligenzschicht.
• NVIDIA Omniverse Libraries: Erweitern Agentenfähigkeiten um Physiksimulation und 3D-Asset-Workflows.
• NVIDIA OpenShell: Eine Open-Source-Laufzeitumgebung, die Agents in einer Sandbox hält und durch Richtlinien kontrolliert.

Die Kombination aus Nemotron Ultra, Omniverse und lokaler Inference ermöglicht spezialisierte Super Agents, die mit proprietären Daten und Wissensdatenbanken individualisiert werden können.

Forschungsdurchbrüche für Echtzeit-Simulation

NVIDIAs Forschung auf der SIGGRAPH zielt nicht nur auf visuell realistische, sondern auf physisch korrekt reagierende Welten in Echtzeit ab. Die folgenden Technologien wurden vorgestellt:

• MotionBricks: Echtzeit-Bewegungsmodell für die Steuerung von Charakterbewegungen, das auch physische Humanoid-Roboter antreibt.
• GPC (Generative Controller): Framework für generative Controller auf Basis großer Bewegungsdatensätze.
• ArtiFixer: Wandelt unvollständige 3D-Scans in saubere virtuelle Szenen um und prognostiziert globale Beleuchtung direkt aus der Geometrie.
• Physiksimulation: Ein neuer Solver simuliert schwer berechenbare Materialien wie Schnee, Sand und elastische Festkörper in der NVIDIA Newton Physik-Engine.
• Creative Control: VideoNeuMat extrahiert wiederverwendbare, relightbare Materialien aus generativem Video. ARDY erlaubt die Echtzeit-Steuerung von 3D-Charakterbewegungen per Texteingabe.

Quelle: NVIDIA Blog