Forscher von Nvidia, der Carnegie Mellon University und der University of California, Berkeley haben ENPIRE eingeführt – ein Framework, das es KI-Coding-Agenten ermöglicht, die Steuerungspolitiken von Robotern auf echter Hardware zu verbessern.
Das System läuft in einem geschlossenen Kreislauf: Der Roboter führt eine Aufgabe aus, die Umgebung bewertet automatisch das Ergebnis und kehrt in ihren ursprünglichen Zustand zurück, und der KI-Agent analysiert Fehler, schreibt den Code um und startet die nächste Reihe von Versuchen.
Wie ENPIRE funktioniert
In der Robotik bleibt das Training auf echter Hardware ein teurer und langsamer Prozess. Nach einem fehlgeschlagenen Versuch muss die Szene in ihren ursprünglichen Zustand zurückversetzt, das Ergebnis überprüft, der Algorithmus geändert und der Versuch erneut durchgeführt werden. In der Regel erfordert ein Teil dieser Arbeit die Einbeziehung von Ingenieuren.
ENPIRE überträgt auf die physische Welt einen Ansatz, den Nvidia AutoResearch nennt: KI-Agenten schreiben Code, testen ihn und verbessern ihn in nachfolgenden Iterationen. Im Gegensatz zu einer digitalen Umgebung beinhaltet hier jedes Experiment echte Roboter, Kameras, Objekte, Greiffe Fehler, Reibung und andere physische Einschränkungen.
Das Framework besteht aus vier Modulen:
- Die Umgebung ist verantwortlich für das automatische Zurücksetzen der Szene, die Ergebnisverifizierung, das Protokollieren und die Sicherheitsinterfaces;
- Die Politikverbesserung startet die Verbesserung der Steuerungspolitik;
- Rollout bewertet die Politik auf einem oder mehreren physischen Robotern;
- Evolution ermöglicht es den Agenten, Protokolle zu analysieren, nach Ideen in der Literatur zu suchen, die Trainingsinfrastruktur zu ändern und den Code zu reparieren.
Nach der initialen Einrichtung der Umgebung kann die Schleife ohne ständige menschliche Aufsicht laufen. Der Agent erhält Daten aus Video, Trajektorien und der Belohnungsfunktion, schlägt eine neue Hypothese vor, ändert den Code, testet das Ergebnis am Roboter und speichert die Änderungen, wenn sie die Metrik verbessern.
Warum automatische Überprüfung und Rücksetzung benötigt werden
Ein Schlüsselelement von ENPIRE ist die Automatisierung von zwei Operationen: die Überprüfung des Ergebnisses und die Rückführung der Szene in ihren ursprünglichen Zustand. Die erste ist notwendig, damit das System selbstständig bestimmen kann, ob die Aufgabe abgeschlossen ist. Im Kabelbinder-Szenario kombinierte die Bewertungsfunktion einen Detektor, ein Segmentierungsmodell und die Überprüfung durch zwei Kameras. So erhielt der Agent ein Erfolgs- oder Fehlersignal, ohne dass jede Ausführung manuell gekennzeichnet werden musste.
Die automatische Rücksetzung ermöglicht es, viele Versuche hintereinander durchzuführen. Nach einer fehlgeschlagenen Aktion muss der Roboter das Objekt oder die Szene in einen Zustand zurückversetzen, der für das nächste Experiment geeignet ist. Ohne dies stößt das Training auf echter Hardware schnell auf die Notwendigkeit ständiger menschlicher Beteiligung.
Wie Decrypt feststellte, hilft ein Mensch in der ersten Phase dem Agenten, permanente Werkzeuge zu erstellen — ein Rücksetzverfahren und eine Belohnungsfunktion. Danach werden sie wiederverwendet, und der Agent übernimmt die weitere Verbesserung der Politik.
Was auf den Robotern gezeigt wurde
In realen Experimenten testete das Team ENPIRE bei mehreren Manipulationsaufgaben. Push-T überprüft, ob der Roboter ein T-förmiges Objekt in eine gegebene Zone schieben kann. Die Pin-Insertion erfordert das Einfügen von Stiften in Löcher mit einem Durchmesser von 4 mm. Auch die Installation von GPUs und Operationen mit einem Kabelbinder werden gezeigt.
Auf der Nvidia-Projektseite wird angegeben, dass das System bei realen Manipulationsaufgaben die Aufgabe in 99 % der Fälle erfolgreich abgeschlossen hat, wenn der Agent bis zu acht Versuche unter Berücksichtigung vorheriger Fehler erhielt. Die Metrik spiegelt die Fähigkeit des Systems wider, sich nach Fehlern zu erholen und Aktionen unter Berücksichtigung des Kontexts zu wiederholen, anstatt die Genauigkeit eines einzelnen isolierten Versuchs.
Als Codierungsagenten verglich das Team Codex auf GPT-5.5, Claude Code auf Opus 4.7 und Kimi Code auf Kimi K2.6. Die Bewertung fand im AutoEnvBench-Benchmark bei den Aufgaben Push-T und Pin Insertion statt.
Die Forscher testeten auch ENPIRE in RoboCasa – einem Simulator für Haushaltsaufgaben wie das Öffnen von Schränken und Schubladen sowie das Ein- und Ausschalten von Objekten in der Küche. In diesen Szenarien übertraf ENPIRE Nvidias GR00T und CaP-X – ein Agentensystem, das Werkzeuge verwendet, aber keinen vollständigen Zyklus automatischer Forschung durchführt.
Acht Roboter beschleunigten das Training
Ein separater Block der Arbeit ist der Skalierung auf eine Flotte von Robotern gewidmet. Nvidia führte ein Experiment an acht Robotikstationen mit zwei Manipulatoren durch. Jeder hatte seine eigene Hardware, seinen eigenen Computer und seinen eigenen KI-Codierungsagenten.
Die Stationen tauschten Ergebnisse über Git aus: Eine erfolgreiche Idee oder Codeänderung konnte schnell zwischen den Agenten verbreitet werden. Dieser Ansatz machte es möglich, die Trainingszeit zu verkürzen. Laut Decrypt reduzierte der Übergang von einem Roboter auf acht die Zeit, um Push-T zu meistern, von etwa fünf auf zwei Stunden. Für die Pin-Einfügung fiel die Zeit von mehr als 90 Minuten auf etwa 40 Minuten.
Einschränkungen
Die Autoren betonten, dass Skalierung nicht alle Probleme löst. Wenn Agenten Protokolle lesen, Code schreiben, diesen debuggen oder auf eine Antwort des Basis-Sprachmodells warten, werden die Roboter und Rechenressourcen nicht vollständig genutzt. Mit der Zunahme der Anzahl der Roboter steigt die GPU-Aktivität, aber die durchschnittliche Auslastung der Roboter selbst sinkt. Teams von Agenten verbringen mehr Zeit damit, die Ergebnisse anderer Zweige zusammenzufassen und zu koordinieren, anstatt sich nur auf physische Durchläufe zu konzentrieren.
Eine weitere Einschränkung ist das Wachstum des Tokenverbrauchs. Eine größere Flotte von Robotern bringt die Richtlinie schneller in einen funktionsfähigen Zustand, erfordert jedoch mehr Tokens aufgrund des Lesens von Protokollen, des Teilens von Ideen und der Koordination zwischen den Agenten.
Darüber hinaus wurde ENPIRE bisher nur bei einer begrenzten Anzahl von Manipulationsaufgaben demonstriert. Seine Ergebnisse bedeuten nicht, dass Roboter bereits unabhängig beliebige physische Fähigkeiten in einer offenen Umgebung ohne technische Vorbereitung meistern können.
Denken Sie daran, dass Nvidia im Juni den Isaac GR00T Referenz-Humanoiden-Roboter vorgestellt hat – ein Forschungsreferenzdesign zur Entwicklung und Testung der Fähigkeiten humanoider Roboter. Die Konfiguration umfasste einen Unitree H2 Plus-Körper und taktile fünfgliedrige Hände von Sharpa Wave.
Früher stellte Unitree "den weltweit ersten serienreifen" gesteuerten Roboter vor. Der Android ist in der Lage, sich auf zwei und vier Gliedmaßen zu bewegen.
Quelle: ForkLog
