Visual Observation + Language Instruction + Embodiment Description

-> Future Action / Trajectory

图 1：Qwen-VLA 总体架构。

核心设计

Qwen-VLA 的一个关键点是 embodiment-aware prompt。模型不为每个机器人单独设计输出头，而是把机器人平台、单臂或双臂、控制频率、预测步长和任务指令写入文本 prompt。

The robot is {robot_tag} with {single arm / dual arms}; control frequency = {FPS} Hz.

Predict next {chunk_size} control actions for task: {ori_instruction}.

图 2：预训练数据覆盖的机器人本体与动作类型。

动作接口上，论文使用统一张量 Y ∈ R^{H × K}。H 是 prediction horizon，K 是最大 action channel 维度。不同任务只使用有效的 c 个 channel，剩余部分 zero-padding，并用 binary mask 避免 padding 参与 loss。

• 统一的是 tensor interface、masking scheme、prompt conditioning 和训练流程。
• 不同机器人原有的控制 convention 仍然被保留。
• 这不是把所有机器人动作强行映射到同一个物理语义空间。

训练流程

图 3：T2A -> CPT -> SFT -> RL 的 progressive training recipe。

Qwen-VLA 的训练分为 T2A、CPT、SFT 和 RL 四步。T2A 最值得注意：由于 VLM backbone 已经完成大规模预训练，而 DiT action decoder 是随机初始化的，论文先冻结 VLM，只训练 action decoder，让它在没有图像的情况下根据语言和本体 prompt 学习动作先验。

T2A 可以理解为 action decompression：Compressed task description + Embodiment prompt -> High-dimensional action trajectory。

消融实验显示，real data 与 synthetic data 混合效果最好，full-sequence prediction 优于 chunk prediction；T2A 阶段加入 image tokens 反而会降低效果。这说明 T2A 的目标是先学 language-action prior，而不是提前做 visual grounding。

实验结果与讨论

图 4：Qwen-VLA 在多个 manipulation benchmark 上接近或超过 specialist models。

• LIBERO: 97.9；Simpler-WidowX: 73.7。
• RoboTwin-Easy / RoboTwin-Hard: 86.1 / 87.2。
• RoboCasa-GR1: 56.7，接近 ABot-M0 的 58.3。
• ALOHA 真实机器人实验中，预训练将平均成功率从 48.5% 提升到 83.6%；OOD 平均成功率从 36.2% 提升到 76.9%。

图 5：ALOHA OOD 任务示例，包括未见物体、背景和组合指令。

需要注意的是，embodiment prompt 未必真正表达完整动力学。它可以描述平台名称、控制频率和 action type，但很难覆盖关节限制、执行器延迟、接触力、摩擦等因素。ALOHA 真机实验也是 finetune 后的结果，还不能完全证明同一 checkpoint 只改 prompt 就能 zero-shot 迁移到新本体。

Qwen-VLA 的价值在于展示了一条将 VLM 扩展成 embodied generalist policy 的系统路线；但“统一接口”距离“理解身体和动力学”仍有距离。

📌 栏目预告

本栏目定期推送大模型、具身智能领域前沿训练系统与学术成果解读，持续分享行业最新科研进展，欢迎关注。