OpenVLA 深度技术解读

0. 30 秒速览

OpenVLA 是一个 7B 参数的开源机器人操作模型。它接受一张 RGB 图像和一句自然语言指令（如"把可乐罐拿起来"），输出一个7 维机器人动作向量（末端执行器的位移+旋转+夹爪开合）。核心思路是：把连续动作离散化成文本 token，让大语言模型用标准的 next-token prediction 来"说出"机器人该怎么动。

1. 背景知识：从 VLM 到 VLA

1.1 什么是 VLM？

Vision-Language Model（VLM）是能同时理解图像和文本的大模型。典型架构有三部分：

输入一张图片 + "图片里有什么？"，VLM 输出文字描述。VLM 的训练方式是：让模型看大量图文对，学会把图像 patch 转换成和文字 token 一样的东西，然后用标准的语言模型方式处理。

1.2 VLA = VLM + 动作输出

Vision-Language-Action Model（VLA）在 VLM 的基础上增加了一个输出维度：机器人动作。关键技术问题是：语言模型只能输出离散的 token（词表里的整数索引），但机器人需要连续的浮点数动作（如"向前移动 0.05 米"）。怎么解决这个矛盾？

OpenVLA 的答案：把连续动作离散化为整数 token，然后假装它们是语言模型词表的一部分。这样，输出"拿起可乐罐"对应的动作序列，和输出"I love you"没有本质区别——都是 next-token prediction。

2. 架构三大组件

OpenVLA 由三个核心模块串联组成：

2.1 Vision Encoder：为什么用两个编码器？

这是 OpenVLA 相比 RT-2 的关键改进之一。OpenVLA 同时使用两个视觉编码器，各有所长：

具体做法：同一张 224×224 输入图像分别过 DINOv2 和 SigLIP，各自输出 256 个 patch embedding（每个 patch 是 14×14 像素区域），然后在通道维度拼接（channel-wise concatenation），得到 256 个 2048 维的融合 token。这比用单一编码器能同时捕获空间精度和语义理解。

2.2 Projector：连接视觉和语言

Projector 是一个简单的2 层 MLP（多层感知机），输入维度 2048（拼接后的视觉特征维度），输出维度 4096（Llama-2 的隐藏维度）。它做的事很简单：把视觉编码器输出的特征"翻译"成语言模型能理解的格式。这和大多数现代 VLM（如 LLaVA、Prismatic）的做法一致。

2.3 LLM Backbone：Llama-2-7B

OpenVLA 选择了 Llama-2-7B 作为核心语言模型。完整输入序列是：

[visual_token_1] [visual_token_2] ... [visual_token_256]   ← 图像
"In This Task: pick up the coke can"                      ← 语言指令
[robot_state_token]                                         ← 本体感知（当前关节位置）
[action_token_1] [action_token_2] ... [action_token_7]    ← 输出的 7 个动作维度

其中 [robot_state_token] 是机器人当前状态（如夹爪开合度）被编码成一个 token。这使得模型不只"看一眼就动"，还能感知自己的当前位置。

3. Action Tokenization：核心创新

这是理解 OpenVLA（以及整个"离散化 VLA"路线）的最关键部分。

3.1 问题：连续 → 离散

机器人动作是 7 个连续浮点数（以 Franka 机械臂为例）：

action = [Δx, Δy, Δz, Δroll, Δpitch, Δyaw, gripper]
# 例如: [0.02, -0.01, 0.05, 0.0, 0.0, 0.0, 1]  ← 前进2cm，左移1cm，上移5cm，闭合夹爪

但 Llama-2 只能输出离散的 token（词表大小 32000）。怎么让 LLM 输出 7 个浮点数？

3.2 方案：每维 256 bin 离散化

OpenVLA 把每个动作维度独立离散化为 256 个 bin（即整数 0~255）：

具体公式：

# 离散化（训练时）
bin_index = floor((v - P1) / (P99 - P1) * 256)
bin_index = clip(bin_index, 0, 255)

# 反离散化（推理时，把 token 转回连续值）
v = P1 + (bin_index + 0.5) / 256 * (P99 - P1)

3.3 7 个 token 怎么训练？

离散化后，一条动作变成 7 个整数 token：[152, 128, 200, 128, 128, 128, 255]。这些 token 被加到 LLM 的词表中（从 32000 扩展到约 33272，加上一些特殊 token）。

训练目标就是标准的next-token prediction + cross-entropy loss——但只在 action token 上计算 loss：

loss = CrossEntropy(predicted_action_tokens, target_action_tokens)

# 只对序列最后的 7 个 action token 计算损失
# 前面的 visual tokens 和 instruction tokens 不产生 loss

这意味着模型学会的是：给定图像+指令+当前状态，"说出"正确的 7 个动作 token。推理时用 greedy decoding 逐个生成。

4. 训练数据

4.1 Open X-Embodiment 数据集

OpenVLA 从 Open X-Embodiment（OXE）数据集中筛选了 970K 条真机演示轨迹。OXE 是目前最大的开源机器人操作数据集，由全球 21 个研究机构共同贡献，包含多种机器人平台（Franka、WidowX、Google Robot、Kuka 等）。

4.2 数据筛选策略

不是所有 OXE 数据都用来训练。筛选规则：

1. 必须有第三人称摄像头——只用第三人称视角的数据
2. 必须是单臂末端执行器控制——排除关节空间控制的数据
3. 使用 Octo 的数据混合权重——多样性高的数据集权重高，重复性高的降权
4. 清洗零动作——移除轨迹末尾的"冻结"帧（无操作但机械臂仍开着）

5. 训练细节

6. 微调与部署

6.1 LoRA 高效微调

当你想用 OpenVLA 控制一台新机器人（或新任务）时，不需要重新训练 7B 模型。用 LoRA（Low-Rank Adaptation）可以只训练极少参数：

# LoRA 原理：
# 原始权重矩阵 W ∈ R^{4096×4096}
# 冻结 W，新增两个小矩阵 A ∈ R^{4096×r}, B ∈ R^{r×4096}（r=8 或 16）
# 前向传播：y = (W + A·B) · x
# 只训练 A 和 B，参数量从 16M 降到 ~65K

实测：LoRA 微调 OpenVLA 在单张 RTX 4090 / A100 上即可完成，性能损失可忽略。

6.2 INT4 量化推理

用 INT4 量化（将模型权重从 16-bit 压缩到 4-bit），显存从 15GB 降到约 8GB，可以在更多消费级 GPU 上运行，且任务成功率不降。

7. 实验结果

OpenVLA 以 7×更少参数超越了 Google 的 RT-2-X（55B），在 29 个真实世界操作任务上成功率高出 16.5%。

8. 工程权衡分析

9. 什么时候用 OpenVLA？