NVIDIA veröffentlicht Cosmos 3 Edge: Weltmodell mit vier Milliarden Parametern plant Roboterbewegungen direkt auf dem Jetson Thor

NVIDIA bringt seine Weltmodelle aus dem Rechenzentrum in den Roboter. Auf der SIGGRAPH stellte der Chipkonzern am 20. Juli 2026 Cosmos 3 Edge vor, ein offenes Modell mit vier Milliarden Parametern. Es soll Szenen verstehen und Roboteraktionen in Echtzeit auf einem Jetson-Thor-Rechner ausgeben, ohne Rechenzentrums-GPU.

Cosmos 3 Edge ist das kleinste von drei Cosmos-3-Modellen. NVIDIA hatte die Familie am 31. Mai auf der GTC Taipei vorgestellt, die Varianten Super mit 64 und Nano mit 16 Milliarden Parametern sofort freigegeben und Edge als bald verfügbar angekündigt. Alle drei nutzen eine Architektur, die NVIDIA als Mixture of Transformers bezeichnet und die Text, Bild, Video, Umgebungsgeräusche und Aktionen versteht und erzeugt. Edge koppelt einen autoregressiven Strang für das Schlussfolgern mit einem Diffusionsstrang für die Vorhersage; Sprach-, Video-, Audio- und Aktions-Token teilen sich die Attention-Schichten. Der Schlussfolgerungsteil ist ein Modell mit zwei Milliarden Parametern auf Nemotron-Basis.

Die Gewichte liegen auf Hugging Face, Inferenz- und Nachtrainingscode auf GitHub. Nach NVIDIA-Angaben läuft Edge auf Jetson-Modulen einschließlich der neuen Jetson T2000 und T3000 sowie auf RTX-PRO-, DGX- und GeForce-RTX-GPUs. In BF16-Genauigkeit belegt das Modell auf einem Jetson Thor rund 9 GB. Laut NVIDIAs Technikblog erzeugt es auf einem Jetson AGX Thor T5000 in etwa 1,53 Sekunden ein Paket aus 32 künftigen Aktionen, das rund 2,13 Sekunden Roboterbewegung bei 15 Hz abdeckt. Der Roboter führt den Anfang des Pakets aus und plant dann neu, sodass der nächste Plan bereitsteht, bevor der alte abgearbeitet ist.

In der Bildanalyse wertet Edge laut NVIDIA 1080p-Video auf RTX-Systemen in bis zu 22 Millisekunden aus, auf L40-GPUs in rund 30 Millisekunden, und belegt in seiner Parameterklasse Platz eins im Benchmark VANTAGE-Bench. Zudem veröffentlichte NVIDIA schrittdestillierte Cosmos-3-Varianten, die die Zahl der Entrauschungsschritte von 50 auf 4 senken und die Inferenz nach Unternehmensangaben 25-mal schneller machen, bei geringem Qualitätsverlust.

Bei der Robotersteuerung sind die Werte bescheidener, und NVIDIA legt sie offen. Nachtrainiert auf dem Datensatz Cosmos3-DROID mit 76.000 erfolgreichen teleoperierten Trajektorien, rund 350 Stunden aus 86 Aufgaben und 564 Szenen, aufgezeichnet mit einem Franka-Panda-Arm und einem Robotiq-Greifer, erreichte Edge in der geschlossenen RoboLab-Auswertung über 120 sprachgesteuerte Handhabungsaufgaben eine Erfolgsquote von 22,9 Prozent. Der Basislauf des Nachtrainings nutzte 64 Knoten mit je vier GB200-Chips für 60.000 Iterationen, etwa 68 Stunden.

Als Robotikunternehmen, die Cosmos 3 Edge erproben, nennt NVIDIA Agile Robots, Doosan Robotics, Siemens und Skild AI, für Videoagenten in der Infrastruktur Centific, Vaidio und YUAN. Beim Start im Mai hatte NVIDIA Agile Robots, Doosan Robotics, LG Electronics, Samsung Electronics und Skild AI als Anwender von Cosmos 3 in der Robotik genannt, Li Auto beim autonomen Fahren. Agile Robots gehört zudem mit Black Forest Labs, Generalist, LTX, Runway und Skild AI zu den Gründungsmitgliedern von NVIDIAs Cosmos-Koalition.

Für Europas Industrie ist die Lage zweischneidig. Mit Siemens sitzt ein deutscher Industriekonzern in der Evaluierungsrunde, Agile Robots ist zugleich Evaluierer und Gründungsmitglied der Koalition. Ein Weltmodell, das Kamerabilder auf dem Roboter verarbeitet, kommt den Datenschutz- und Betriebsratsanforderungen in deutschen Werken entgegen, weil Videodaten die Halle nicht verlassen müssen. Zugleich bindet es Maschinenbauer enger an NVIDIA-Hardware.

Die Zielhardware ist Teil der Strategie. Der Jetson AGX Thor T5000, Rechner im am 1. Juni angekündigten Isaac-GR00T-Referenzhumanoiden, liefert 2.070 FP4-Teraflops und 128 GB gemeinsamen Speicher bei 40 bis 130 Watt. Ein Weltmodell mit 9 GB lässt dort Platz für Wahrnehmung, Sicherheitsfunktionen und eine separate Aktions-Policy. Der Referenzhumanoid basiert auf Unitrees H2 Plus und soll Ende 2026 über Unitree erhältlich sein.

Die Branche teilt sich in offen und geschlossen. Google DeepMinds zehn Tage später vorgestelltes Gemini Robotics 2 gibt sein On-Device-Aktionsmodell nur an Testkunden. Skild AI bietet S1 über eine Early-Access-Anmeldung an. NVIDIA verschenkt dagegen die Gewichte von Cosmos 3 Edge und des kommerziell lizenzierten GR00T N1.7 mit drei Milliarden Parametern und verdient an Jetson-, RTX- und Rechenzentrumshardware, die für Training und Betrieb nötig ist.

Vereinfacht gesagt sagt ein Weltmodell voraus, wie eine Szene im nächsten Moment aussieht. Cosmos 3 Edge nutzt das in zwei Richtungen: Es erzeugt oder analysiert Video, und es sagt die Motorbefehle voraus, die eine Szene auf ein Ziel zubewegen. Läuft beides auf dem Roboter, entfällt die Netzwerklatenz eines Cloudaufrufs.

Die Grenzen zeigen NVIDIAs eigene Zahlen. 22,9 Prozent Erfolg im geschlossenen Regelkreis nach 68 Stunden Training auf 256 GB200-Chips machen Edge zu einer Basis für Forschung und Prototypen, nicht zu einer einsatzfertigen Handhabungssteuerung. 1,53 Sekunden Inferenzzeit genügen für langsame Tischaufgaben, nicht für schnelle dynamische Bewegungen. In den gesichteten Unterlagen nennt NVIDIA weder die Lizenzbedingungen für Cosmos 3 Edge noch einen Serieneinsatz.