VLA 模型：让大模型长出手
探索中首发 #具身智能#VLA#机器人
大模型能看图、能对话、能写代码，但没法拿起一个杯子。VLA（Vision-Language-Action，视觉-语言-动作）模型想解决的就是这件事：把预训练视觉语言模型的常识，直接变成机器人的动作。
传统做法和 VLA 的区别
传统机器人系统是流水线：感知模块识别物体 → 规划模块算路径 → 控制模块执行。每一段单独设计、单独调。
VLA 的做法是端到端：输入摄像头画面和一句自然语言指令（“把红色的杯子放进抽屉”），模型直接输出机械臂的动作。
好处是能继承大模型的泛化能力：训练数据里没见过“恐龙玩具”，但模型从互联网图文里知道恐龙长什么样，就有可能抓对。
基本结构
一个典型的 VLA 由三部分组成：
- 视觉编码器：把相机画面编码成 token
- 语言模型主干：通常是预训练的 VLM，负责理解指令和场景
- 动作头：把模型输出转成机器人能执行的控制信号
关键设计在第三部分，主要有两种思路：
- 动作离散化成 token：把连续的关节角度、末端位移切分成若干区间，每个区间当成一个“词”，让语言模型像生成文字一样生成动作。Google DeepMind 的 RT-2 和开源的 OpenVLA 走的是这条路。
- 连续动作生成：在主干后面接扩散模型或流匹配（flow matching）模块，直接生成连续、平滑的动作序列。Physical Intelligence 的 π0 是代表。这种方式更适合高频、精细的操作。
关键难点
数据
这是最大的瓶颈。互联网上有海量图文，但没有海量“机器人动作轨迹”。现有思路：
- 多机构合并数据集：把不同实验室、不同型号机器人的数据统一格式后合并训练（如 Open X-Embodiment）
- 遥操作采集：人戴设备远程操控机器人，记录轨迹，成本高但质量好
- 仿真与世界模型生成：用仿真器或世界模型合成数据，这正是世界模型的落地方向之一
跨本体泛化
不同机器人的自由度、关节结构、相机位置都不一样。一个模型能不能同时控制机械臂、双臂和人形机器人，是目前研究的重点。
推理速度
大模型推理慢，机器人控制需要高频输出。常见做法是“快慢双系统”：大模型低频做高层理解和规划，小模型高频做底层控制。
目前的判断
- VLA 是大模型能力向物理世界溢出的主通道。 它和世界模型是互补关系：世界模型负责“想”，VLA 负责“做”。
- 数据飞轮决定胜负。 模型结构会趋同，谁能低成本获得大量真实交互数据，谁就领先。
- 短期落地在半结构化场景。 仓储分拣、实验室自动化这类环境相对可控的地方，比家庭场景更早商用。
接下来要做的
- 跑通 OpenVLA 在仿真环境里的推理
- 对比动作 token 化和扩散动作头在同一任务上的表现
- 整理主要开源机器人数据集的规模和格式
参考
- Brohan et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. 2023
- Kim et al. OpenVLA: An Open-Source Vision-Language-Action Model. 2024
- Black et al. π0: A Vision-Language-Action Flow Model for General Robot Control. 2024
- Open X-Embodiment Collaboration. Open X-Embodiment: Robotic Learning Datasets and RT-X Models. 2023