Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.
Pretrained robot policies provide useful action priors, but long-horizon manipulation still requires coordination between semantic reasoning and physical execution. Semantic reasoning operates at a coarser timescale than physical interaction, while episode-level failures provide limited guidance on which system component should be revised.
A vision-language-action (VLA) policy can finish a manipulation task while knocking over objects unrelated to it, so task success alone does not show that the policy is safe to deploy in clutter. We study how to keep a pretrained VLA policy clear of such hazards at run time without retraining it, which requires guarding more of the arm than the end effector, following the hazard as it moves, and sharing onboard compute with the policy.
FailBank ist ein vierstufiges Self-Evolution-Framework, das Laufzeit-Feedback einer CBF-basierten Sicherheitskomponente in persistente Policy-Verbesserungen für Vision-Language-Action-Modelle umwandelt. Ein Preprint auf arXiv berichtet, dass FailBank die Aufgabenerfolgsrate gegenüber den Basispolicies um 8,5 bzw. 6,9 Prozentpunkte steigert und die policy-induzierten kumulativen Kosten um 35,6 bzw. 23,8 Prozent senkt. Damit wird gezeigt, dass Laufzeitkorrekturen nicht nur temporäre Eingriffe, sondern auch Trainingssignal für künftiges Verhalten sein können.
Das Preprint stellt Optimus-R vor, ein memory-centric Framework zur Adaption von Vision-Language-Action-Modellen (VLA). Es führt eine Inline Memory Interface, eine Query-Skill Memory Bank und einen Bridge-and-Adapt-Mechanismus ein, um Roboterfähigkeiten als explizite Speichereinträge zu lernen und wiederzuverwenden. In Experimenten auf LIBERO, CALVIN und RoboTwin 2.0 verbessert Optimus-R die Dateneffizienz deutlich und erreicht im Cross-Domain-Transfer mit 20 Demonstrationen pro Aufgabe 33,3 % Erfolgsrate auf einem echten Roboter, 13,9 Prozentpunkte über der Baseline.
Vision-language-action (VLA) models can exceed 90% success on in-distribution tasks and withstand nuisance changes that preserve the required action, yet fail under counterfactual changes that demand a different action. Aggregate robustness scores can therefore conceal a more specific failure, in which a policy responds to both language and vision yet does not combine them to select the action the task requires.
In einem Preprint wird GroundingPI vorgestellt, ein 4-Milliarden-Parameter-Grounding-Foundation-Model, das Punkte und Boxen als quantisierte Koordinaten in einem gemeinsamen Vokabular erzeugt. Über 34 Grounding-Benchmarks mit 44 Baseline-Vergleichen erreicht das Modell einen Durchschnitt von 73,68 % und liegt damit vor dem größeren GPT-6 Astra mit 71,54 %. Als Perzeptionsbackbone verbessert es Robotermanipulation und autonomes Fahren, etwa mit bis zu 24,8 % relativem Vorteil im RoboTwin-2.0-OOD-Setting.
In einem Preprint wird ein Framework vorgestellt, das lokale Vision-Language-Action-Verhalten für einen artikulierten Luftmanipulator synthetisch trainiert und über einen relationalen Szenengraph zu szenenweiten Missionen komponiert. Die lokale VLA-Politik erreicht unter Orakelbedingungen 65,0 % Erfolg, das Gesamtsystem schafft 42,0 % der simulierten Multi-Site-Missionen, und die gemessene Fortschrittsausrichtung MPAR reduziert den Phasenfehler bei 500 ms Latenz um 0,212 s. Erste physische Versuche bestätigen die Ausführbarkeit ohne Demonstrationen auf der Zielplattform.
We present PrefPI (Preference-Guided Policy Iteration), an iterative framework for steering pretrained generative robot policies using only relative preferences over self-generated trajectories. Unlike prior preference-learning methods that primarily sharpen modes already represented by the policy, we study steering beyond the initial effective support, where desired behaviors are rarely or never observed under the initial policy.
Roboter-KI-Modelle planen immer einen kurzen Block künftiger Bewegungen, und wie viele davon der Roboter ausführt, bevor er wieder hinschaut, legen Entwickler bislang meist starr fest. Dieser Preprint der Tsinghua-Universität, der Beijing Academy of Artificial Intelligence (BAAI) und weiterer Partner ergänzt ein Zusatzmodul, das diese Zahl im laufenden Betrieb wählt und die Erfolgsquoten vorhandener Modelle von Physical Intelligence und Nvidia in der Simulation und auf einem realen Zweiarmroboter ohne Nachtraining erhöht.
Das Paper stellt ein zweistufiges, nicht-uniformes Denoising für Flow-Matching-basierte Vision-Language-Action-Modelle vor; es reduziert die Modellinferenzzeit von 61,557 ms auf 21,956 ms, eine 2,804-fache Beschleunigung, bei vergleichbarer Aktionsfehlergröße. Zusätzlich wird ein verteiltes Echtzeit-Framework mit entkoppelten Raten für Inferenz, Aktionspublikation und Robotersteuerung entwickelt. In physischen Langzeit-Faltversuchen mit π0.5 erzielt Legato 96,7 Prozent Erfolg; die kombinierte Zwei-Stufen-Methode senkt die Erfolgsrate von Legato auf 86,7 Prozent, liefert aber deutliche Effizienzgewinne. Der Preprint motiviert die gemeinsame Optimierung von Modellinferenz und System-Timing.
Vision-language-action (VLA) policies emphasize semantic understanding, whereas world-action models (WAMs) learn predictive representations of environment dynamics. Systems that expose a policy to both sources often still concentrate action computation on a single expert.
Vision-language-action (VLA) models have advanced robotic manipulation, but their zero-shot generalization in new tasks and environments remains limited, and their reliance on specialized training keeps them from benefiting directly from rapidly advancing general-purpose vision-language models (VLMs). In parallel, recent agentic robotic systems leverage VLMs for high-level reasoning or coding agents for robot control, but often depend on extensive external models and tools, introducing additional complexity and cost.
Visual Language Action (VLA) models offer unprecedented generalization for autonomous robots; however, their real-world deployment is frequently bottlenecked by unreliable execution and the prohibitive computational cost of fine-tuning for specific robot embodiments and tasks. To bridge this gap, we propose WayFinder, an end-to-end, closed-loop hierarchical VLA framework that circumvents the need for fine-tuning by decoupling high-level task reasoning from low-level kinematic control.
Vision-language-action (VLA) policies often fail when a robot's executed motion deviates from their commanded action. Such execution errors arise from the robot's mechanics and operating conditions, such as wear and payload changes.
Diffusion and flow-matching Vision-Language-Action (VLA) policies generate action chunks through iterative denoising, incurring substantial inference latency that severely limits real-time robotic control. Existing acceleration methods treat an action chunk as a monolithic computational unit, ignoring a crucial physical reality of receding-horizon control: actions are generated jointly but consumed sequentially, resulting in inherently heterogeneous execution urgencies.
Simulated manipulation benchmarks are the standard tool for evaluating vision-language-action (VLA) policies and the acceleration methods that reduce their inference latency for on-robot deployment. On these benchmarks, we observe that some training-free acceleration methods, which approximate the baseline policy's computation, achieve higher measured success rates than the baseline itself.
Vision-language-action (VLA) models typically operate on RGB images produced by a fixed camera image signal processor (ISP), leaving the imaging pipeline outside the learning and evaluation loop. We systematically examine the consequences of this overlooked design choice across five fundamental ISP dimensions: gain, sensor noise, chromatic response, tonal response, and bit depth.
General-purpose physical AI models must combine broad visual and linguistic capabilities with precise control across robot embodiments and efficient adaptation to downstream tasks. We introduce Rho, a family of open-weights VLA models for bimanual manipulation designed for data-light task adaptation on 3 embodiments representative of dual-arm robots across research labs and the industry -- YAM Box, UR AI Trainer, and FR3 Duo.
Co-training a VLA on heterogeneous data (multi-robot, web, high-level subtask labels) lets a mobile manipulator clean unseen homes end-to-end.
A slow VLM planner (7–9 Hz) and a fast visuomotor policy (200 Hz) control a full humanoid upper body from language.
Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.