Was ist ein Vision-Language-Action-Modell (VLA), und wer entwickelt es?

Ein Vision-Language-Action-Modell (VLA) ist ein neuronales Netz, das Kamerabilder und eine sprachliche Anweisung wie „Leg die Tasse in die Spüle“ gemeinsam verarbeitet und die Motorbefehle ausgibt, die ein Roboter als Nächstes ausführen soll. Ausgangspunkt ist ein Bild-Sprach-Modell (VLM), wie es Fotos beschreiben kann; mit Roboterdemonstrationen weitertrainiert, liefert es statt Text Gelenkwinkel, Greiferbefehle und Fahrbewegungen.

Der Begriff kam im Juli 2023 in die Robotik, als Google DeepMind RT-2 als arXiv-Preprint vorstellte. Das Modell, trainiert auf Webbildern und Roboterdaten, erreichte bei unbekannten Objekten und Szenen laut Paper rund 62 Prozent Erfolg, doppelt so viel wie der Vorgänger RT-1 mit 32 Prozent. Drei Jahre später prägen Google DeepMind, Physical Intelligence, NVIDIA, Figure AI, Skild AI und Chinas AgiBot das Feld, und ihre Geldgeber haben einige der größten Finanzierungsrunden der Robotik gestemmt. Dieser Beitrag erklärt, wie die Modelle funktionieren, worin sie sich von klassischer Roboterprogrammierung und von Weltmodellen unterscheiden, wer vorn liegt und warum für Europas Industrie die Datenfrage wichtiger ist als die Modellarchitektur.

Wie aus Pixeln und Sätzen Motorbefehle werden

Die meisten VLA bestehen aus drei Bausteinen. Ein Vision-Encoder zerlegt jedes Kamerabild in visuelle Tokens. Ein vortrainiertes Sprach-Backbone liest diese Tokens zusammen mit der Anweisung und den Gelenkdaten des Roboters. Ein Action Head übersetzt schließlich den internen Zustand des Backbones in Stellgrößen für Gelenke, Greifer oder Räder. NVIDIA beschreibt diesen Aufbau in der Model Card von GR00T N1 genau so: ein SigLIP-2-Vision-Transformer für Bilder mit 224 mal 224 Pixeln, ein T5-Textencoder, ein kleines Netz für den Roboterzustand, das sich je nach Roboterkörper ändert, und ein Diffusions-Transformer, der die Bewegungen erzeugt.

Der Start mit einem Bild-Sprach-Modell bringt Wissenstransfer. Ein Backbone, das mit riesigen Mengen beschrifteter Webbilder trainiert wurde, kennt die meisten Gegenstände aus Haushalt und Fabrik bereits, sodass der Roboter auch mit Dingen umgehen kann, die im Robotertraining nie vorkamen. Die RT-2-Autoren berichten von 60 Prozent Erfolg bei solchen neu entstandenen Fähigkeiten, etwa dem Griff zum kleinsten Objekt auf dem Tisch, gegenüber 17 Prozent für RT-1. Offen bleibt, in welcher Form das Netz eine Bewegung überhaupt ausdrücken soll.

Tokens oder Fluss: zwei Wege zur Bewegung

Die ersten VLA behandelten Bewegungen wie Wörter. RT-2 teilte laut Paper acht Aktionsdimensionen, sechs für Position und Drehung des Greifers, eine für das Öffnen und eine für das Aufgabenende, in je 256 Stufen, sodass eine Bewegung zu einer kurzen Tokenfolge wurde. OpenVLA, ein Modell mit 7 Milliarden Parametern, das ein Team unter Führung der Stanford University im Juni 2024 mit offenen Gewichten veröffentlichte, nutzte denselben Ansatz und lag über 29 Aufgaben 16,5 Prozentpunkte vor Googles RT-2-X mit 55 Milliarden Parametern.

Für feinmotorische Arbeit sind Tokens zu langsam und zu grob. Das größte RT-2 regelte mit 1 bis 3 Hertz. Physical Intelligence koppelte bei π0, beschrieben in einem Preprint vom 31. Oktober 2024, an ein PaliGemma-Backbone mit 3 Milliarden Parametern einen eigenen Action Expert mit 300 Millionen Parametern und trainierte ihn per Flow Matching, einem Verwandten der Diffusionsverfahren aus der Bildgenerierung. Der Expert beginnt mit Zufallsrauschen und verfeinert es in zehn Schritten zu einem Block von 50 künftigen Aktionen; so steuert π0 Roboter mit bis zu 50 Hertz. GR00T N1 erledigt dieselbe Aufgabe mit einem Diffusions-Transformer.

Ein drittes Design trennt Denken und Reflex. Figure AIs Helix, vorgestellt am 20. Februar 2025, kombiniert laut Unternehmen ein Bild-Sprach-Modell mit 7 Milliarden Parametern bei 7 bis 9 Hertz mit einer Steuerung von 80 Millionen Parametern bei 200 Hertz und bedient damit 35 Freiheitsgrade auf zwei Bord-GPUs. NVIDIA nennt diese Aufteilung System 2 und System 1, und AgiBots GO-2 vom 8. September 2026 arbeitet mit einem asynchronen Doppelsystem aus langsamem Planer und schnellem Ausführungsmodul. Diese Schichtung unterscheidet ein VLA auch von der Software, die heute in Fabriken läuft.

Weder Teach-in noch Weltmodell

Klassische Industrieroboter werden Punkt für Punkt programmiert. Der Integrator lernt Wegpunkte per Handbediengerät ein oder plant die Bahn offline, und das Programm läuft unverändert, bis ein Bauteil anders liegt oder die Linie umgebaut wird. Ein VLA ersetzt dieses Skript durch eine gelernte Strategie, die in jedem Takt die Szene liest. Das macht Roboter robuster gegenüber Unordnung und neuen Teilen, kostet aber die strenge Wiederholgenauigkeit, die Zertifizierung nach Maschinenrecht einfach macht. Genau hier liegt Europas Zielkonflikt. Die EU hat KI-gesteuerte Maschinen im Juli 2026 aus der Hauptspur des AI Act genommen und Herstellern bis August 2028 Zeit gegeben, doch die Nachweispflichten der Maschinenverordnung bleiben.

Ein Weltmodell beantwortet eine andere Frage. Es sagt voraus, wie sich eine Szene verändert, meist als Video, wenn der Roboter handelt, und dient dazu, synthetische Trainingsdaten zu erzeugen oder Strategien vor dem Einsatz an echter Hardware zu prüfen. Runway gab am 30. September 2026 an, dass Ergebnisse im eigenen Weltmodell mit realen Ergebnissen zu 0,95 korrelieren. Die Ansätze wachsen zusammen. Runway nennt sein neues Praxis-1 ein World Action Model, das direkt Steuerbefehle ausgibt, und Generalist AI hat GEN-1 nach eigenen Angaben mit mehr als 500.000 Stunden Wearable-Aufnahmen menschlicher Handgriffe vortrainiert, ganz ohne Roboterdaten.

Wer baut VLA, und wer gibt sie frei

Google DeepMind stellte am 12. März 2025 Gemini Robotics auf Basis von Gemini 2.0 vor, mit Apptronik als Humanoid-Partner und der Münchner Agile Robots unter den ersten Testern; am 30. Juli 2026 folgte Gemini Robotics 2 für die Ganzkörpersteuerung von Humanoiden. Die Aktionsmodelle bleiben Partnern vorbehalten. Physical Intelligence geht den umgekehrten Weg und stellt π0, π0-FAST und seit September 2025 π0.5 im Repository openpi unter Apache-2.0-Lizenz bereit. NVIDIA veröffentlichte GR00T N1 am 18. März 2025 unter nicht kommerzieller Lizenz; das 3-Milliarden-Parameter-Modell GR00T N1.7 steht unter der NVIDIA Open Model License in Hugging Faces LeRobot-Bibliothek. Figure nutzt Helix nur für eigene Roboter, Skild AI verkauft Skild Brain und S1 über Einsätze beim Kunden.

Offenheit ist Geschäftsstrategie. Laut openpi genügen für ein LoRA-Finetuning mehr als 22,5 Gigabyte GPU-Speicher, also eine RTX 4090. Für Hochschulen und mittelständische Automatisierer sinkt damit die Schwelle erheblich. Geschlossene Modelle halten Datenkreislauf und Kundenbeziehung beim Anbieter. Wirklich trennen sich die Lager bei den Datenkosten.

Der Kostenblock sind Daten, nicht Architektur

Anders als Chatbots können VLA ihre Trainingsdaten nicht aus dem Netz holen. Roboterdemonstrationen entstehen meist per Teleoperation, bei der ein Mensch den Roboter durch die Aufgabe führt. Figure trainierte Helix nach eigenen Angaben mit rund 500 Stunden Teleoperation, Physical Intelligence nutzte für π0 mehr als 10.000 Stunden aus sieben Roboterkonfigurationen und 68 Aufgaben. Skild AI rechnete im August vor, dass 380 Demonstrationen einer Aufgabe von mehr als vier Minuten 50 bis 100 Stunden Teleoperation kosten, und erklärte, sein S1-Modell erziele mit einem einzigen Video eine vergleichbare Wirkung.

NVIDIA erzeugte nach eigenen Angaben in 11 Stunden 780.000 synthetische Trajektorien, umgerechnet etwa 6.500 Stunden menschlicher Demonstration, und steigerte damit die Leistung von GR00T N1 um 40 Prozent. Auch Europas Industrie setzt auf Simulation. Wandelbots, SCHUNK und EY bündeln seit April 2026 die NOVA-Plattform, die GROW-Zelle und NVIDIA Omniverse zu einem Physical-AI-Angebot für den Mittelstand, und Siemens zählt laut NVIDIA zu den Evaluierern des On-Device-Weltmodells Cosmos 3 Edge.

Wohin das Geld fließt, auch in Europa

Skild AI sammelte im Januar 2026 1,4 Milliarden Dollar bei einer Bewertung von mehr als 14 Milliarden Dollar ein, Figure AI im September 2025 1 Milliarde Dollar bei 39 Milliarden Dollar Post-Money, Generalist AI im Juni 2026 400 Millionen Dollar, wie die Unternehmen mitteilten. Nur Skild hat Umsatz offengelegt, nach eigenen Angaben mehr als 100 Millionen Dollar wiederkehrenden Jahresumsatz und über 60 zahlende Kunden. In Europa sicherte sich NEURA Robotics aus Metzingen im Juni eine Serie C von bis zu 1,4 Milliarden Dollar, und Londons Humanoid erreichte im Juli mit 152 Millionen Dollar eine Bewertung von 1,35 Milliarden Dollar, mit Schaeffler und Bosch als Investoren.