什么是VLA(视觉-语言-动作)模型,谁在研发

VLA(Vision-Language-Action,视觉-语言-动作)模型是一个神经网络,输入摄像头画面和“把杯子放进水槽”这样的自然语言指令,输出机器人下一步要执行的电机指令。它以能描述图片的视觉语言模型(VLM)为起点,再用机器人示范数据继续训练,使模型的输出从文字变成关节角度、夹爪开合等动作。

这一概念在2023年7月进入机器人领域。谷歌DeepMind当时以arXiv预印本发布RT-2,论文称同时学习网络图像和机器人数据后,模型在未见过的物体和场景中的成功率约为62%,而前代RT-1为32%。三年后,这条赛道的头部玩家包括谷歌DeepMind、Physical Intelligence、英伟达、Figure AI、Skild AI以及中国的智元机器人,相关公司拿下了机器人行业规模最大的几笔私募融资。本文依次说明VLA如何工作、它与传统机器人编程和世界模型有何不同、谁在领跑,以及为何数据成本而非模型结构正在决定商业胜负,这对拥有最大制造现场的中国尤其关键。

像素和语句如何变成电机指令

多数VLA由三部分组成。视觉编码器把每帧画面转成一串视觉token;语言主干即预训练的视觉语言模型,把这些token与指令、机器人自身的关节读数一起处理;动作头再把主干的内部表示换算成驱动关节、夹爪或轮子的数值。英伟达在GR00T N1模型卡中给出了清晰的结构:读取224×224像素画面的SigLIP 2视觉Transformer、T5文本编码器、随机器人本体而变化的状态网络,以及生成动作的扩散Transformer。

从视觉语言模型起步,换来的是知识迁移。用海量网络图片训练过的主干已经认识大多数家庭和工厂物品,机器人因此能处理在机器人训练中从未见过的东西。RT-2作者称,在“挑出桌上最小的物体”“把易拉罐放到只在网上见过的数字上”这类涌现能力测试中,成功率达到60%,RT-1仅为17%。接下来的问题是,网络究竟该用什么形式表达一个动作。

输出动作的两条路线,离散token与连续流

早期VLA把动作当成文字处理。论文显示,RT-2把8个动作维度,即夹爪位置与旋转6个、夹爪开合1个、任务结束1个,各自均分为256个区间,一个动作就变成语言模型像写字一样输出的一小串token。斯坦福牵头团队2024年6月开放权重的70亿参数OpenVLA沿用了这一思路,并报告在29项任务上比谷歌550亿参数的RT-2-X成功率高出16.5个百分点。

token路线对精细操作来说又慢又粗。最大的RT-2控制频率只有1至3Hz。Physical Intelligence在2024年10月31日的预印本中介绍的π0,在30亿参数的PaliGemma主干上另接一个3亿参数的“动作专家”,用与图像生成扩散方法同源的流匹配(flow matching)训练。动作专家从随机噪声出发,经10步迭代生成未来50步的动作块,控制频率最高可达50Hz。英伟达GR00T N1则用扩散Transformer完成同样的任务。

第三种设计把“思考”与“反射”分开。Figure AI于2025年2月20日发布的Helix,由运行在7至9Hz的70亿参数视觉语言模型和运行在200Hz的8000万参数策略组成,在机载的两块GPU上控制35个自由度,公司表示。英伟达把这种分工称为System 2与System 1。智元机器人2026年9月8日发布的GO-2采用异步双系统,低频的语义规划模块输出结构化动作序列,高频的动作跟随模块做残差修正以抵消环境噪声,并提出在动作空间内推理的“动作思维链”。这与国家“十五五”规划纲要提出的“大小脑一体化”机器人模型方向一致。

它既不是示教编程,也不是世界模型

传统工业机器人靠逐点编程。集成商用示教器录入路径点或离线编程,程序会一成不变地重复,直到工件位置变化或产线改造。VLA用每个控制周期都读取场景的学习型策略取代脚本,能应对杂乱的工作台和新物体,但也牺牲了便于认证的严格重复精度。日本安川电机2026年7月表示,其MOTOMAN NEXT系统用谷歌DeepMind的Gemini Robotics ER 1.6做任务规划,视觉、路径规划和力觉仍由机器人自身功能承担。

世界模型回答的是另一个问题。它预测机器人做出某个动作后场景会如何变化,通常以视频形式呈现,用来生成合成训练数据或在上真机前测试策略。Runway在9月30日表示,其世界模型中的策略结果与真实结果的相关系数为0.95。两条路线正在交汇。Runway把新发布的Praxis-1称为可直接输出控制的“世界动作模型”,Generalist AI则称其GEN-1只用可穿戴设备采集的50万小时以上人类交互数据预训练,不含任何机器人数据。

谁在做,谁在开源

谷歌DeepMind于2025年3月12日发布基于Gemini 2.0的Gemini Robotics,人形机器人合作方为Apptronik,2026年7月30日又推出面向人形机器人全身控制的Gemini Robotics 2,动作模型仍只向合作伙伴和受信测试方提供。Physical Intelligence走开源路线,其openpi仓库以Apache 2.0许可发布π0、π0-FAST,并自2025年9月加入π0.5。英伟达2025年3月18日以非商用许可发布GR00T N1,30亿参数的GR00T N1.7则以英伟达开放模型许可进入Hugging Face的LeRobot。Figure只在自家机器人上使用Helix,Skild AI以部署方式出售Skild Brain与S1,智元则通过Genie Studio平台交付GO-2。

开不开源是商业选择。按openpi的说明,LoRA微调只需22.5GB以上显存,一块RTX 4090即可完成,高校和中小整机厂的门槛随之下降。闭源模型则把数据飞轮和客户关系留在模型方手里。两大阵营真正的分歧在于数据成本。

成本大头是数据,而非结构

与聊天机器人不同,VLA无法从网上抓取训练数据。机器人示范数据大多靠遥操作采集,即由人操控机器人完成任务。Figure称Helix使用了约500小时遥操作数据,Physical Intelligence为π0投入了覆盖7种机器人构型、68项任务的1万小时以上数据。Skild AI在8月表示,为一项时长超过4分钟的任务采集380次示范需要50至100小时遥操作,而其S1模型凭一段视频即可取得相近效果。

英伟达称在11小时内生成了78万条合成轨迹,相当于约6500小时人类示范,与真实数据混合后GR00T N1性能提升40%。智元表示GO-2使用了数万小时交互数据。中国的优势在于场景:工信部与国资委6月要求每个省级地区开放至少20个、每家央企至少10个真实训练场景,目标是年底前形成100个以上高价值应用场景和万台级部署能力。

资金流向了哪里

据各公司披露,Skild AI于2026年1月以超过140亿美元估值融资14亿美元,Figure AI于2025年9月以390亿美元投后估值融资10亿美元,Generalist AI于2026年6月融资4亿美元。其中只有Skild公开了收入,9月10日宣布年化经常性收入(ARR)突破1亿美元,付费客户超过60家。智元则披露2025年营收超过10亿元人民币,并在2026年4月迎来第一万台机器人下线。