Im Herzen von Pittsburgh entwickelt das Human Engineering Research Laboratories (HERL) der University of Pittsburgh eine neue Generation assistiver Robotik. Mit bis zu 41,5 Millionen US-Dollar Förderung durch die Advanced Research Projects Agency for Health (ARPA-H) entsteht die Robotic Assistive Mobility and Manipulation Platform (RAMMP) – ein System, das Künstliche Intelligenz von Meta mit benutzerzentriertem Design verbindet. Lesen Sie, wie diese Technologie die Unabhängigkeit von Menschen mit Behinderung neu definiert.

Das dringende Bedürfnis nach smarter Assistenztechnik

Für geschätzte 5,5 Millionen Rollstuhlnutzer in den Vereinigten Staaten ist Mobilität die Grundlage für Selbstbestimmung und gesellschaftliche Teilhabe. Doch wenn assistive Technologien die Komplexität des Alltags nicht abbilden können, gefährden sie nicht nur die Unabhängigkeit der Nutzer, sondern auch deren körperliche Sicherheit. Die Statistiken sind alarmierend: Jährlich werden in amerikanischen Notaufnahmen über 100.000 rollstuhlbedingte Verletzungen behandelt, oft durch Stürze und Umkippe. Der Bedarf an intelligenteren, sichereren und anpassungsfähigeren Lösungen ist folglich enorm.

RAMMP: Wenn Robotik auf KI trifft

Das ARPA-H-finanzierte RAMMP-Projekt will die Defizite aktueller robotischer Mobilitätsplattformen beheben. Dazu integriert das Team fortschrittliche Robotik, neuartige Betriebssysteme und Digital-Twin-Technologie, um eine virtuelle Simulationsumgebung für sichere und skalierbare Tests zu schaffen. Ein zentraler Baustein ist die Künstliche Intelligenz, konkret mehrere Open-Source-Vision-Modelle von Meta: DINO und das Segment Anything Model (SAM).

Die visuelle Intelligenz hinter RAMMP

DINO, ein selbstüberwachter Vision-Transformer, zeichnet sich durch das Lernen visueller Repräsentationen aus unbeschrifteten Daten aus. Das macht ihn ideal für Umgebungen, in denen annotierte Datensätze rar sind. SAM hingegen wurde entwickelt, um praktisch jedes Objekt in Bildern oder Videos zu erkennen und zu segmentieren – und das mit minimaler Eingabe. Diese Präzision macht SAM zu einem unverzichtbaren Werkzeug in Bereichen, in denen exakte Objekterkennung entscheidend ist.

Ingenieurskunst für den Alltag: KI direkt auf dem Gerät

Für Menschen, die auf Hilfsmittel angewiesen sind, zählt jede Sekunde. Ob ein Kind unvermittelt über den Gehweg läuft, eine unerwartete Bordsteinkante auftaucht oder Schlüssel fallen – die Umgebung ist unvorhersehbar. Die direkte Verarbeitung von Kamera- und Sensordaten auf dem Gerät selbst, also Edge Computing, ermöglicht es robotischen Mobilitätsplattformen, in Echtzeit zu reagieren.

Die Umsetzung ist jedoch alles andere als trivial. Leistungsstarke KI-Modelle wie DINOv3 und SAM auf begrenzter, batteriebetriebener Hardware laufen zu lassen, stellt Ingenieure vor enorme Herausforderungen. Akkulaufzeit, Wärmeentwicklung, unzuverlässige Netzwerke sowie strikte Gewichts- und Größenanforderungen müssen berücksichtigt werden.

Natürliche Interaktion statt komplexer Steuerung

Die neuen Ansätze erlauben es den Nutzern, auf natürliche Weise mit dem Roboter zu kommunizieren. Durch die Kombination von Sprache und Bilddaten können Nutzer ihre Umgebung abfragen und direkte Befehle erteilen. Das reduziert die kognitive Belastung erheblich und macht alltägliche Handlungen wie das Aufheben einer Tasse so intuitiv wie nie zuvor. Das RAMMP-Team integriert diese Funktionalität bereits in den ersten Prototypen: Werkzeuge auf Basis von DINO ermöglichen die Erkennung von Automatiktürknöpfen, Alltagsgegenständen und Navigationshilfen wie Bordsteinen.

DINOv3 als kompaktes visuelles Gehirn

DINOv3 fungiert als effizientes, allgemeines Fundament – eine Art visuelles Gehirn, auf das spezialisierte, leichtgewichtige Module für Objekterkennung oder Bewegungsverfolgung aufgesetzt werden können. Dadurch lassen sich visuelle Daten wiederverwenden und Energie sparen. Die Ingenieure optimieren beide Modelle gezielt für Edge-Geräte, reduzieren den Speicherbedarf und setzen niedrigere Präzisionen ein, wo angemessen. Das Ergebnis ist eine zuverlässige Echtzeitfunktion, die manchmal ein wenig Grenzpräzision zugunsten von Geschwindigkeit und Stabilität eintauscht – genau das, was mobile Nutzer brauchen.

„Bei der assistiven Robotik misst sich Leistung nicht allein an Benchmark-Genauigkeit, sondern daran, ob ein System im Unvorhersehbaren des Alltags zuverlässig funktioniert“, sagte Sivashankar Sivakanthan, Chief of Staff des RAMMP-Projekts. „Modelle wie DINOv3 und SAM direkt auf dem Gerät laufen zu lassen, ermöglicht Echtzeitwahrnehmung, auf die sich Nutzer verlassen können – ohne Netzwerkabhängigkeit und ohne Kompromisse bei der Sicherheit.“

360-Grad-Umgebungserkennung durch Modellkombination

RAMMPs Wahrnehmungssystem basiert auf RF-DETR, einem leichtgewichtigen Erkennungsmodell, das mit DINOv2-Einbettungen optimiert wurde. Trainingsdaten werden mithilfe von SAM automatisch beschriftet, was es dem Team erlaubt, hochwertige Annotationen über alle Winkel, Höhen, Hintergründe und Lichtsituationen hinweg zu generieren. Das Resultat ist ein adaptives System, das intelligenter wird und sicherere sowie selbstbewusstere Mobilität ermöglicht.

Kooperation als Erfolgsrezept

HERL und ATDev arbeiten als Schlüsselpartner innerhalb des RAMMP-Konsortiums zusammen. Während HERL mit seiner Expertise in biomedizinischer Technik und nutzerzentrierter Forschung die Vision liefert, bringt ATDev die robuste Ingenieursperspektive ein, die übersetzte Forschung in funktionierende Geräte umwandelt. Darüber hinaus engagiert HERL Rollstuhlnutzer, Kliniker und Interessenvertretungen direkt im Designprozess. Diese partizipative Methodik stellt sicher, dass die Technologie reale Bedürfnisse adressiert.

Zum nationalen Konsortium gehören Partner wie Kinova Robotics, LUCI Mobility, ATDev sowie führende Universitäten wie Carnegie Mellon, Cornell, Northeastern und Purdue.

Die wirtschaftliche und gesellschaftliche Dimension

Über die individuelle Mobilität hinaus will RAMMP neue Arbeitsplätze und Fertigungsmöglichkeiten in Pittsburgh und ganz Pennsylvania fördern. Mansoor Khan, Program Manager bei ARPA-H, betonte: „Durch RAMMP zielt ARPA-H auf eine Zukunft ab, in der Amerikaner mit eingeschränkter Mobilität durch fortschrittliche Robotik unabhängiger leben, arbeiten und Freizeit genießen können. Metas Vision-Modelle sind eine kritische Technologie, die der Plattform das Sehen ermöglicht.“

Alicia Jackson, Direktorin von ARPA-H, fügte hinzu: „Millionen Amerikaner mit eingeschränkter Mobilität verdienen Technologie, die sie dort abholt, wo sie sind – nicht Technologie, die verlangt, dass sie sich anpassen.“

Ausblick: Die nächste Generation assistiver Robotik

Das RAMMP-Team arbeitet bereits an der Integration neuer Wahrnehmungsmodelle wie SAM 3.1 und DINOv3. Zukünftige Entwicklungen konzentrieren sich auf die Verbesserung zeitlicher Konsistenz, Robustheit unter diversen Realbedingungen und eine engere Einbindung in Entscheidungs- und Steuerungssysteme. Langfristig streben die Forscher assistive Systeme an, die nicht nur ihre Umgebung präzise wahrnehmen, sondern sich über Zeit an die individuellen Bedürfnisse, Verhaltensweisen und Kontexte jedes einzelnen Nutzers anpassen.

Die nächste Generation assistiver Robotik wird nicht nur Menschen physisch bewegen – sie wird die Gesellschaft einem Ideal näherbringen, in dem jeder Mensch, unabhängig von seinen Fähigkeiten, voll und ganz selbstbestimmt teilhaben kann.

Quelle: Meta AI Blog