Alibaba hat die Qwen-Robot Suite vorgestellt – eine Reihe von KI-Modellen für Roboter und Aufgaben in der physischen Umgebung: Qwen-RobotNav für Navigation, Qwen-RobotManip für Aktionen mit Objekten und Qwen-RobotWorld zur Vorhersage, wie sich eine Szene entwickeln wird. Das Team beschrieb das Projekt als einen «Full Stack für verkörperte künstliche Intelligenz».
Dies sind Softwaremodelle, die physischen Agenten helfen sollen, ihre Umgebung wahrzunehmen, Aktionen zu planen und Befehle in natürlicher Sprache auszuführen. Die Qwen-Robot Suite wird bereits in Pilotversuchen mit ausgewählten Alibaba Cloud Unternehmenskunden im Bereich Robotik getestet.
Warum Alibaba Qwen in die physische Welt bringt
Große Sprach- und multimodale Modelle können bereits mit Text, Bildern, Videos und Sprache arbeiten, aber das reicht für Roboter nicht aus. Physische Agenten müssen nicht nur einen Befehl verstehen, sondern ihn auch in Bewegung umsetzen, den Raum, die Eigenschaften von Objekten, die Einschränkungen von Sensoren und die Folgen von Aktionen berücksichtigen.
Alibaba nennt dies das Feld der physischen KI oder «verkörperte KI». In diesem Ansatz muss ein Modell nicht nur mit digitalen Daten, sondern auch mit der physischen Umgebung arbeiten: sich bewegen, Objekte finden, Manipulatoren steuern und vorhersagen, was nach einer Aktion passieren wird.
Qwen-RobotNav: fünf Navigationsaufgaben in einem Modell
Qwen-RobotNav ist für die Navigation verantwortlich. Das Modell kombiniert fünf Gruppen von Aufgaben:
- Befehlen folgen;
- zu einem bestimmten Punkt bewegen;
- Objekte suchen;
- Zielverfolgung;
- autonomes Fahren.
Laut Alibaba basiert Qwen-RobotNav auf Qwen3-VL und wurde mit 15,6 Millionen Beispielen zu Routenplanung und visuellem Sprachverständnis trainiert.
Das Unternehmen behauptete eine Erfolgsquote von 76,5 % bei VLN-CE RxR und 90 % bei EVT-Bench. Alibaba spezifizierte auch, dass das Modell als Werkzeug für größere agentische Systeme fungieren kann: Ein höheres Modell plant die Aufgabe, während Qwen-RobotNav die Bewegung übernimmt.
In seinen Demonstrationen beschreibt Alibaba Szenarien wie das Suchen eines verlorenen Gegenstands in einem Raum oder das Überprüfen, ob ein bestimmter Gegenstand in einem Gebäude geöffnet ist. Bei solchen Aufgaben muss ein Roboter nicht nur bewegen, sondern auch visuelle Beweise sammeln und dem Benutzer eine Antwort zurückgeben.
Qwen-RobotManip: Aktionen mit Objekten
Qwen-RobotManip ist für physische Aktionen mit Objekten konzipiert. Das Modell soll Robotern helfen, Gegenstände aufzuheben, zu bewegen und abzulegen sowie Fähigkeiten zwischen verschiedenen Gerätetypen zu übertragen.
Eine der größten Herausforderungen in der Robotik besteht darin, dass Roboter Aktionen unterschiedlich beschreiben. Ein Manipulator, eine zweiarmige Plattform, ein Roboter mit einer Hand oder ein mobiles System verwenden unterschiedliche Koordinaten, Gelenke und Befehlsformate. Qwen-RobotManip versucht, diese Daten in eine gemeinsame Darstellung zu bringen, sodass das Training eines Robotertyps einem anderen hilft.
Für das Training verwendete Alibaba mehr als 38.100 Stunden Daten. Dieses Volumen umfasste 11.320 Stunden offene Robotikdaten, 1.933 Stunden Video von menschlichen Aktionen aus der Ich-Perspektive und 24.808 Stunden synthetische Robotervorführungen, die auf der Grundlage solcher Videos erstellt wurden.
Das Unternehmen gab an, dass das Modell den ersten Platz im RoboChallenge Table30 v1 im Bereich der allgemeinen Modelle belegte. Laut Alibaba zeigte Qwen-RobotManip auch Robustheit gegenüber neuen Anweisungen, unbekannten Objekten und dem Transfer von Fähigkeiten zwischen verschiedenen Robotern.
Qwen-RobotWorld: ein Weltmodell für Roboter
Qwen-RobotWorld ist ein videobasiertes Weltmodell, das durch natürliche Sprache gesteuert wird. Es soll vorhersagen, wie sich eine Szene nach einer bestimmten Aktion entwickeln wird.
Das Modell erhält beispielsweise eine aktuelle Beobachtung und einen Textbefehl und generiert dann einen wahrscheinlichen zukünftigen Zustand der Umgebung. Dieser Ansatz kann für Manipulation, autonomes Fahren, Navigation, Planung und die Erstellung synthetischer Trainingsdaten für Roboter verwendet werden.
Um Qwen-RobotWorld zu trainieren, stellte das Team das Embodied World Knowledge-Korpus zusammen. Es umfasst 8,6 Millionen «Video-Text»-Paare und mehr als 200 Millionen Frames, deckt mehr als 20 Arten von Robotikplattformen und über 500 Kategorien von Aktionen ab.
Alibaba erklärte, dass Qwen-RobotWorld den ersten Platz in EWMBench und DreamGen Bench belegte und auch alle offenen Modelle in WorldModelBench und PBench übertraf. Die technische Beschreibung behauptet außerdem, dass das Modell eine hohe Konsistenz mit grundlegenden physikalischen Regularitäten zeigt – Bewegung, Massenerhaltung, Flüssigkeiten und Schwerkraft.
Massentaugliche Roboter sind noch weit entfernt.
Trotz der behaupteten Ergebnisse bleibt Qwen-Robot Suite vorerst eine Sammlung von Modellen und keine fertige Plattform für Verbraucherrobotik. Der Einsatz in der realen Welt stößt auf Sensorrauschen, Verschleiß von Aktuatoren, nicht-standardisierte Situationen, Wahrnehmungsfehler und eine enorme Anzahl seltener Szenarien. Viele der Benchmarks, mit denen solche Systeme verglichen werden, werden in Simulationen oder unter eingeschränkten experimentellen Bedingungen durchgeführt.
Alibaba gab auch nicht die Kosten für den Zugang, den Zeitrahmen für einen öffentlichen Start oder die Liste der Kunden bekannt, die bereits Qwen-Robot Suite testen.
Zur Erinnerung: Im April stellte Alibaba Cloud das agentische Modell Qwen3.6-Plus mit einem Kontextfenster von 1 Million Tokens und Unterstützung für externe Werkzeuge vor.
Quelle: ForkLog
