NVIDIA XR AI ist ab sofort als öffentliche Beta verfügbar und liefert Entwicklern ein leistungsstarkes Framework für multimodale KI-Agenten auf AR-Brillen und XR-Geräten. Die Technologie bringt künstliche Intelligenz direkt in die physische Arbeitswelt und ermöglicht kontextbewusste Echtzeit-Unterstützung für Industrie, Forschung und Medizin. Entdecken Sie, wie intelligente Agenten die Art und Weise revolutionieren, wie Menschen mit ihrer Umgebung interagieren.
Von Chatbots zu handlungsfähigen KI-Agenten in der Realität
Künstliche Intelligenz verlässt digitale Chatfenster und tritt in Labore, Fabriken sowie OP-Säle ein. NVIDIA XR AI bildet die technische Basis für eine neue Generation digitaler Helfer, die ihre Umgebung wahrnehmen, aus Unternehmensdaten schöpfen und in Echtzeit handeln. Entwickler erhalten eine umfassende Bibliothek, um agentische Anwendungen zu erstellen, die Video-, Audio- und Sensordaten aus AR-Brillen mit KI-Modellen, Unternehmensdaten und beschleunigter Rechenpower verknüpfen.
Das Ziel ist eine nahtlose Assistenz, die Nutzer nicht ablenkt, sondern im Arbeitsfluss unterstützt. Dafür müssen die Agenten komplexe Aufgaben mit geringer Latenz bewältigen und dauerhaft den räumlichen Kontext verstehen.
Die vier Kernkompetenzen der Plattform
NVIDIA XR AI vereint vier zentrale Bausteine, die den Sprung von der Idee zur produktiven Anwendung ermöglichen:
- Multimodale Wahrnehmung: Die Plattform verarbeitet Echtzeit-Signale aus AR- und XR-Geräten wie Video, Audio, Tiefendaten, Positionsangaben und weitere Sensordaten.
- Enterprise-Anbindung: Agenten greifen über NVIDIA Metropolis sowie NVIDIA NeMo Retriever auf visuelle KI-Services, Videosuche und internes Unternehmenswissen zu.
- Flexible Modelle: Unterstützt werden NVIDIA Nemotron, NVIDIA Cosmos Reason und weitere kompatible Foundation Models.
- Orchestrierung und Runtime: Dank integrierter Agenten-Orchestrierung und beschleunigter Runtime-Services lassen sich Prototypen effizient in produktive Anwendungen überführen.
Zusammen mit dem NVIDIA NeMo Agent Toolkit für Tool-Use und Multi-Agenten-Koordination sowie der Rechenpower von NVIDIA DGX Spark, DGX Station und RTX PRO-Systemen entsteht eine durchgängige Infrastruktur für Cloud, Datacenter und Edge.
Praxisbeispiele aus Industrie und Forschung
Entwickler und Unternehmen nutzen NVIDIA XR AI bereits, um intelligente Agenten genau dort einzusetzen, wo die Arbeit stattfindet.
Industrielle Instandhaltung bei Siemens
Im Forschungskontext testet Siemens, wie NVIDIA XR AI und DGX Spark Fabrikingenieure unterstützen können. Ein Ingenieur mit leichter AR-Brille fragt einen KI-Agenten zu Problemen mit speicherprogrammierbaren Steuerungen und erhält sofortige Anleitungen. Das System verbindet industrielle Systeme, digitale Zwillinge und Automatisierungsworkflows direkt vor Ort.
Forschungslabs mit Rana LabOS
Das Unternehmen Rana, eine AutoBio-Firma für KI-gestützte Wissenschaft, integriert sein LabOS-System in NVIDIA XR AI. In Forschungslaboren der Stanford University School of Medicine und der Princeton University unterstützt der LabOS Co-Scientist Forscher bei Stammzelltherapien und CRISPR-Gene-Editing. Die AR-Brille erkennt Proben, führt durch komplexe Experimente und dokumentiert den Arbeitsablauf reproduzierbar. LabOS ist kompatibel mit Smart Glasses von Meta, Rokid und VITURE.
Chirurgische Unterstützung am UPMC
Das Surreality Lab am University of Pittsburgh Medical Center demonstriert, wie NVIDIA XR AI auf NVIDIA DGX Station OP-Teams assistiert. Das System versteht, welche Bereiche im Sichtfeld des Chirurgen nicht verdeckt werden dürfen, und blendet kontextrelevante Informationen präzise ein. So bleibt der Fokus auf dem Patienten, während das Team wichtige Daten in Echtzeit erhält.
Automotive Design mit Innoactive
Innoactive zeigt, wie Unternehmen räumliche Workflows für Entscheidungsprozesse nutzen. Basierend auf NVIDIA DGX Spark werden Informationen aus Design-Reviews, Showrooms und digitalen Zwillingen erfasst und über AR-Brillen in den Arbeitskontext zurückgeführt.
Immersive Geschichten bei Atlantic Studios
Atlantic Studios ermöglicht mit NVIDIA XR AI immersive Expeditionen zum Titanic-Wrack. Nutzer erkunden das Schiff mit Sprachbefehlen, während die KI interessante Details aufdeckt und das komplexe Unterwassermodell in eine lebendige, interaktive Geschichte verwandelt.
Ausblick: KI-Agenten als digitale Arbeitskollegen
Mit der Fähigkeit, die physische Welt zu erfassen, Unternehmenswissen abzurufen und kooperativ zu handeln, entsteht eine neue Klasse digitaler Arbeitskräfte. NVIDIA XR AI liefert die nötigen Bibliotheken und die beschleunigte Rechengrundlage, um diese Agenten für Labore, Fabriken, Kliniken und immersive Umgebungen zu entwickeln. Die Zukunft der Arbeit wird nicht nur digital, sondern räumlich intelligent und freihändig steuerbar.
