深入浅出GroundingPI技术解析：精确空间感知如何迁移到机器人动作

写在前面

欢迎大家关注Rocky的知乎：Rocky Ding 《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～

Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章： 深入浅出完整解析AI Agent（AI智能体）的核心基础知识

AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群（涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0

大家好，我是Rocky。

1. 机器人需要的视觉能力，可能藏在最不起眼的细节里

整理桌面的机器人，必须区分相邻的两个杯子，找出目标杯把，并判断哪个局部位置适合交互。模型即使能流畅解释“杯子可以装水”，也不能由此保证它能把手伸到正确位置。感知和动作之间，存在一个非常具体的接口问题：语言目标能否稳定对应到图像中的对象、位置和局部结构。

GroundingPI 把这个问题作为预训练的中心。它用点和框这些视觉基元统一目标检测、指代、OCR、界面定位与视觉提示，再考察训练出的感知表示能否帮助机器人和自动驾驶的动作学习。

Rocky认为，这项工作的价值，在于把“可迁移的精确感知”当作动作模型的基础资产来研究。 机器人演示数据昂贵，如果每次训练策略都需要同时学会看清对象和控制关节，动作数据就承担了过多职责。一个能提供稳定空间信息的基础模型，有机会让后续演示更集中地教会系统如何执行。

但这个推理有边界：本文分析的是公开报告中的感知与迁移实验，没有独立训练或部署机器人。论文结果不能直接等同于真实物理环境中的闭环可靠性，感知榜单也不能替代控制系统验收。

图1｜统一空间任务与动作迁移概览。来自GroundingPI技术报告。

2. 用一个词表表达对象、位置与缺失

GroundingPI 由 MoonViT-V2 视觉编码器、可学习投影层与 Qwen3-4B 语言解码器组成。投影器合并相邻

2

×

2

2\\times2

2×2 视觉特征，再用两层MLP映射到语言空间。给定图像

I

I

I 与查询

P

P

P：

V

=

C

ϕ

(

E

ψ

(

I

)

)

,

p

θ

(

Y

∣

I

,

P

)

=

∏

i

=

1

∣

Y

∣

p

θ

(

y

i

∣

V

,

P

,

y

<

i

)

.

V=C_\\phi(E_\\psi(I)),\\qquad p_\\theta(Y\\mid I,P)=\\prod_{i=1}^{|Y|}p_\\theta(y_i\\mid V,P,y_{<i}).

V=Cϕ​(Eψ​(I)),pθ​(Y∣I,P)=i=1∏∣Y∣​pθ​(yi​∣V,P,y<i​).

语义类别、结构标记和1,000个坐标token共享输出头。框用xyxy四个坐标，点用两个坐标；明确查询却不存在的类别输出None。同类多个实例共享标签包装，减少重复文本开销。

图2｜视觉编码与原子坐标词表。来自GroundingPI技术报告。

2.1 量化坐标带来的收益与误差

每个 <0> 到 <999> 都是一个原子token，而不是若干数字字符。它缩短空间序列，也让训练直接监督几何离散值。原子坐标仍是有限精度表示；极小目标、缩放取整与边缘位置都可能放大量化误差。

输出协议也属于能力的一部分。多框排序、类别分隔符、结束标记和缺失目标的表示必须一致；调用方不能只用一个宽松正则，抓到四个数字就默认输出有效。

表6｜空间协议词表。星号、缺失项与协议例外沿用论文，需结合正文解释。

表7｜任务提示与几何输出。星号、缺失项与协议例外沿用论文，需结合正文解释。

坐标协议给了模型统一任务接口，但没有取消任务差异。OCR标签是文字转写，检测标签是对象类别，轨迹点又需要保持时间次序。把这些都序列化，不意味着评价时可以混用匹配方式。

2.2 4B名称不等于完整参数计数

GroundingPI 的36层语言主干均为全注意力；动态图像处理最多4096个patch，合并后最多1024个视觉token。位置容量262,144与训练实际使用的8192/32768序列长度不同。

表8｜主干结构与视觉预算。星号、缺失项与协议例外沿用论文，需结合正文解释。

表9｜完整参数计数。星号、缺失项与协议例外沿用论文，需结合正文解释。

算上视觉编码器、投影器以及不共享权重的输入嵌入和输出头，完整模型约4.844B参数。“4B”指语言主干家族，不能直接拿它推算完整模型的显存和吞吐。

对推理成本，关键还有图像token数与目标数。密集场景可能要求输出上百个框，逐token生成会累积延迟。空间表示更紧凑是一种优化，但是否满足控制周期，要看整条观测到动作链的测量。

3. 数据引擎的难点：确认“全部”与确认“没有”

多教师标注不是简单投票。GroundingPI 按字段融合定位、分割、文字识别、界面和文档标注；语义与几何分别验证。一个对象的类别确认了、框还不确定，只能保留已确认字段，不能把整个记录都视为真值。

图3｜多教师字段校验与数据迭代。来自GroundingPI技术报告。

任务对证据的要求也不同。一个已确认的杯子可以支撑局部指代训练，但“找出所有杯子”还需要完整覆盖；None要求确认对象不存在，空预测本身不能证明不存在。物体—部件和单词—文本行关系也应保留，不能被去重算法误合并。

当细节不清时，引入局部观察，并将裁剪结果映射回原图坐标。如果监督依赖原始输入根本不可见的细节，应把所需局部视图一起保留，避免强迫模型预测输入中不存在的信息。标签修订还要传递给依赖它的下游任务。

这给数据团队的启发很实际：标注质量不仅是单个框画得准，更是任务依赖是否满足。多个教师同意一个答案，仍可能共享偏差；质量体系需要记录未解决状态，而不是将不确定性强行变成标签。

4. 从语言监督走向空间结果优化

训练总体包含基础VLM预训练、坐标对齐SFT与强化后训练。基础VLM先冻结两个主干，只训练投影器；随后进行全参数多模态预训练和一般图像/视频理解。坐标对齐阶段再学习空间任务及输出协议。

表10｜基础VLM与SFT训练。星号、缺失项与协议例外沿用论文，需结合正文解释。

监督阶段仍然是自回归交叉熵，坐标token与普通响应token使用相同的预测框架，没有额外把每个token直接变成连续IoU回归。它容易实现统一序列训练，但token似然与最终集合质量并不完全一致：重复一个框可能只造成少量token差异，却破坏实例完整性。

图4｜SFT和GRPO空间后训练。来自GroundingPI技术报告。

4.1 GRPO优化的是可检查的结果

每个图像—查询采样8条响应。grounding有两种奖励：集合覆盖

R

s

e

t

R_{set}

Rset​ 与严格输出质量

R

s

t

r

i

c

t

R_{strict}

Rstrict​。先分别在同一提示的响应组内标准化，再按0.7和0.3组合；OCR则使用一个综合奖励。组合优势还在整批响应上标准化。

A

~

i

=

0.7

Z

(

R

s

e

t

,

i

)

+

0.3

Z

(

R

s

t

r

i

c

t

,

i

)

,

A

i

=

A

~

i

−

μ

A

~

s

A

~

+

10

−

8

.

\\widetilde A_i=0.7Z(R_{set,i})+0.3Z(R_{strict,i}),\\qquad A_i=\\frac{\\widetilde A_i-\\mu_{\\widetilde A}}{s_{\\widetilde A}+10^{-8}}.

A

i​=0.7Z(Rset,i​)+0.3Z(Rstrict,i​),Ai​=sA

​+10−8A

i​−μA

​​.

其中同组常数奖励在标准化后贡献零。每条响应的优势赋给其所有有效输出token，采用按响应长度归一的裁剪目标：

论文式（1）：

J

(

θ

)

=

E

B

 ⁣

[

1

N

∑

i

=

1

N

1

∣

Y

i

∣

∑

t

=

1

∣

Y

i

∣

{

min

⁡
 ⁣

(

r

i

,

t

A

i

,

clip

⁡

(

r

i

,

t

,

1

−

ϵ

,

1

+

ϵ

)

A

i

)

−

β

d

i

,

t

}

]

.

\\mathcal J(\\theta)=\\mathbb E_{\\mathcal B}\\!\\left[\\frac{1}{N}\\sum_{i=1}^{N}\\frac{1}{|Y_i|}\\sum_{t=1}^{|Y_i|}\\left\\{\\min\\!\\left(r_{i,t}A_i,\\operatorname{clip}(r_{i,t},1-\\epsilon,1+\\epsilon)A_i\\right)-\\beta d_{i,t}\\right\\}\\right].

J(θ)=EB​

​N1​i=1∑N​∣Yi​∣1​t=1∑∣Yi​∣​{min(ri,t​Ai​,clip(ri,t​,1−ϵ,1+ϵ)Ai​)−βdi,t​}

​.

r

i

,

t

r_{i,t}

ri,t​ 为当前策略与旧策略的token概率比，裁剪参数

ϵ

=

0.2

\\epsilon=0.2

ϵ=0.2，参考正则权重

β

=

0.02

\\beta=0.02

β=0.02。参考模型冻结为SFT checkpoint；RL冻结视觉编码器与投影器，仅更新语言侧参数。

正则项使用

d

=

ρ

−

log

⁡

ρ

−

1

d=\\rho-\\log\\rho-1

d=ρ−logρ−1，其中

ρ

=

π

r

e

f

/

π

θ

\\rho=\\pi_{ref}/\\pi_\\theta

ρ=πref​/πθ​。它在当前策略采样时的期望对应KL；实际用旧策略rollout评估时，应理解为采样正则，不能直接称为当前策略KL的无偏估计。

表11｜强化后训练设置。星号、缺失项与协议例外沿用论文，需结合正文解释。

4.2 覆盖奖励不是标准检测F1

R

s

e

t

R_{set}

Rset​ 为每个真值框独立选最高IoU预测，再核验类别；同一预测可以被多个真值复用。令匹配分数和为

S

S

S，真值数

n

n

n，预测数

m

m

m，计算

R

s

=

S

/

n

R_s=S/n

Rs​=S/n、

P

s

=

S

/

m

P_s=S/m

Ps​=S/m，再取类似F1的调和平均。

由于匹配允许复用，这个覆盖代理奖励可能超过1。因此它不能直接当成一对一匹配下的标准F1，也需要严格奖励补充重复框、超大框、数量、格式和排序约束。

表12｜严格grounding奖励。星号、缺失项与协议例外沿用论文，需结合正文解释。

严格奖励把0.50/0.75/0.95三个IoU阈值的F1、匹配IoU等分项加权，并裁剪到0至1。先分别标准化再组合，意味着0.7/0.3是标准化后的相对权重，不能按原始量纲直觉解释。

4.3 OCR同时对齐文字与几何

OCR采用Hungarian一对一匹配，联合考虑文字编辑相似度与框IoU，兼顾严格文本匹配和部分匹配反馈。其一般形式为

F

(

A

)

=

2

M

(

A

)

/

(

n

+

m

)

F(A)=2M(A)/(n+m)

F(A)=2M(A)/(n+m)，其中

M

(

A

)

M(A)

M(A) 是最优分配的亲和度总和。

硬匹配要求规范化字符串相同且IoU过阈值；软亲和度使用

I

o

U

\\sqrt{\\mathrm{IoU}}

IoU

​ 乘编辑相似度，并分别设几何与文本阈值。Unicode规范化、大小写折叠和标点处理属于奖励定义，不能在复现时随意更换。

表13｜OCR粒度聚合。星号、缺失项与协议例外沿用论文，需结合正文解释。

文本可能存在词级和行级两种合理粒度。报告在完整视图之间聚合，并对冲突标注降权，而非把互不兼容的零散匹配拼成一个高分。最后还用格式门控及重复、过量、无效框惩罚。这体现一个现实问题：奖励需要鼓励可交付结构，而不只是局部识别正确。

训练奖励与测试指标是两套定义。前者服务优化，后者服务比较；如果只展示奖励上升，不能证明独立基准能力提升。

5. 感知结果要拆开看，平均分会掩盖能力差异

报告在34个基准、11类能力上比较44个基线，GroundingPI综合均分73.68，GPT-6 Astra为71.54。Astra在这项实验中是强感知参照，并非被作为机器人动作主干做了相同适配。

图5｜各类感知任务比较。来自GroundingPI技术报告。

这也不是所有任务全面领先。Dense200框定位F1mIoU为74.53，对照Astra65.04；在GUI与部分空间任务上，Astra仍有优势；TotalText与DocLayNet也分别存在更强的比较系统。

表1｜检测与指代概览。星号、缺失项与协议例外沿用论文，需结合正文解释。

表2｜机器人空间与GUI概览。星号、缺失项与协议例外沿用论文，需结合正文解释。

表3｜OCR与文档布局概览。星号、缺失项与协议例外沿用论文，需结合正文解释。

表4｜对象pointing概览。星号、缺失项与协议例外沿用论文，需结合正文解释。

F1mIoU指跨IoU阈值的F1汇总，F1@Point则结合点是否落入目标掩码与实例匹配。能把点放在物体内部，与把整个边界框定位准确，是不同挑战。Dense200上点与框的排序变化，恰好提醒我们不能用一个统一口号覆盖所有空间任务。

报告对自身模型采用五个种子、每个两次共十次运行均值，部分本地基线为三个种子各一次，其他行取外部公开值。星号可能表示外部结果或支持例外，N/A与缺失值不能当零分；提示和解析协议不兼容，也不能直接证明模型内在没有该能力。

完整任务表在后文按评价对象分组保留，以便从召回、精度、严格定位阈值与解析错误率分别理解差距。

6. 动作迁移实验控制了什么

GroundingPI 的机器人比较把不同基础模型接到同一个Action DiT。每次观测与指令只运行一次主干，在八个归一化深度抽取隐藏状态，投影、加深度嵌入并重采样为每层64个条件token，宽度统一1024。

表14｜统一Action DiT架构。星号、缺失项与协议例外沿用论文，需结合正文解释。

Action DiT有16个原子block，8个cross-attention与8个self-attention交替，而不是16组各含两种注意力的成对block。动作horizon为16，推理使用4步Euler；感知特征在动作去噪过程中缓存复用。

训练用

a

t

=

(

1

−

t

)

ϵ

+

t

a

a_t=(1-t)\\epsilon+ta

at​=(1−t)ϵ+ta，目标速度

a

−

ϵ

a-\\epsilon

a−ϵ，对动作位置最小化速度预测平方误差。不同基础模型共用动作表示、动作数据、优化预算和推理过程；按主干宽度适配的小投影器是接口参数差异之一。

表15｜动作学习预算。星号、缺失项与协议例外沿用论文，需结合正文解释。

统一动作头有助于研究表示迁移，但也规定了结论范围。它没有比较每个VLA或WAM系统原生的最优动作架构，也不能证明某类基础模型在所有适配配方下更弱。

图6｜受控动作迁移及开环驾驶误差。来自GroundingPI技术报告。

6.1 OOD优势是真实信号，低绝对成功率也必须保留

GroundingPI在六种机器人设置中的五种第一，覆盖四个OOD设置。RoboTwin2.0 Full为66.20%；Clean2Random从干净演示迁移到随机场景，GroundingPI为17.60%，Rex-Omni为14.10%。相对提升约24.8%，对应绝对增加3.50个百分点。

这两个表述都重要。24.8%的相对提升表明进步明显，17.60%的绝对成功率则说明任务依然困难。将结果写成“成功率提升24.8个百分点”会夸大改善；将其称为成熟机器人能力同样缺乏依据。

RoboCasa-GR1 Full中，GroundingPI37.75低于RynnBrain39.00。它的强项尤其体现在分布变化与低数据适配，不是每项ID结果都领先。

图7｜感知预训练角色的概念示意。来自GroundingPI技术报告。

图7描绘感知训练的角色分工，图形分区只是概念示意，并非测得的参数量或数据量比例。视觉基元能作为物理提示接口，但现有迁移实验没有单独隔离“加入物理提示”这一干预的收益。

6.2 演示数据效率不等于总训练成本更低

图8｜动作演示数据效率。来自GroundingPI技术报告。

在RoboCasa-GR1 ID上，50%演示数据的GroundingPI达到28.75%，高于使用75%演示的最强基线27.75%。剩余动作学习设置固定，支持它在该任务中提高演示利用效率。

但是，其感知预训练本身消耗了大量图文与空间数据。不能由“少用机器人演示”推导“端到端总数据或总算力更少”。四个数据比例的实验也没有单独分离感知学习和运动控制的样本复杂度。

6.3 自动驾驶的0.296米属于开环轨迹指标

nuScenes任务输入当前前视图和最多三秒历史自车状态，输出未来三秒、每0.5秒一个累计位置，共六点。横纵坐标采用固定米制范围量化到同一坐标词表；这些是物理坐标，不是图像归一化坐标。

q

z

=

round

⁡

e

v

e

n

 ⁣

(

999

z

−

a

b

−

a

)

,

z

^

=

a

+

(

b

−

a

)

q

z

/

999.

q_z=\\operatorname{round}_{even}\\!\\left(999\\frac{z-a}{b-a}\\right),\\qquad \\hat z=a+(b-a)q_z/999.

qz​=roundeven​(999b−az−a​),z^=a+(b−a)qz​/999.

纵向范围为

[

−

60

,

60

]

[-60,60]

[−60,60] 米，横向

[

−

20

,

20

]

[-20,20]

[−20,20] 米。每点已经是相对当前车体的累计位置，不能再累加一次。评价使用未量化真值。

L

2

@

h

=

1

2

h

∑

k

=

1

2

h

d

ˉ

k

,

L

2

A

v

g

=

1

3

∑

h

=

1

3

L

2

@

h

.

\\mathrm{L2}@h=\\frac{1}{2h}\\sum_{k=1}^{2h}\\bar d_k,\\qquad \\mathrm{L2}_{Avg}=\\frac13\\sum_{h=1}^3\\mathrm{L2}@h.

L2@h=2h1​k=1∑2h​dˉk​,L2Avg​=31​h=1∑3​L2@h.

这里按各时间范围内的累计点误差平均，再平均1/2/3秒结果，区别于只比较各端点。GroundingPI0.296米相对Qwen3-VL-4B0.301米，差0.005米。离线轨迹更接近记录不代表在线碰撞率下降，也没有测出读取路牌的独立贡献或闭环延迟。

7. 预训练规模与任务混合，分别说明了什么

图9｜预训练暴露量与迁移。来自GroundingPI技术报告。

表16｜逐阶段预训练暴露结果。星号、缺失项与协议例外沿用论文，需结合正文解释。

grounding均分从61.69升至73.68，OOD成功率从26.59升至33.38；但ID成功率在最后一步从38.75降至37.75。感知更强与迁移改善存在联系，不能概括为所有动作指标都单调随规模上升。四个设置且缺少充分重复不确定性，还不足以建立普适scaling law。

OOD聚合按Container、Appearance、Type各评估套件数量加权：

论文式（2）：

S

R

O

O

D

=

14
 

S

R

C

o

n

t

a

i

n

e

r

+

18
 

S

R

A

p

p

e

a

r

a

n

c

e

+

32
 

S

R

T

y

p

e

64

.

\\mathrm{SR}_{\\mathrm{OOD}}= \\frac{14\\,\\mathrm{SR}_{\\mathrm{Container}}+18\\,\\mathrm{SR}_{\\mathrm{Appearance}}+32\\,\\mathrm{SR}_{\\mathrm{Type}}}{64}.

SROOD​=6414SRContainer​+18SRAppearance​+32SRType​​.

14、18、32是评价权重，不是训练混合比例。平均分变化时，应同时查看每个套件的结果。

图10｜六组任务组成消融。来自GroundingPI技术报告。

表17｜六组任务混合。星号、缺失项与协议例外沿用论文，需结合正文解释。

六组分别为基础grounding、密集grounding、指代、基础pointing、机器人pointing，以及OCR/布局/GUI辅助组。去掉密集组，ID与OOD分别下降4.67和3.47个百分点，驾驶L2增加0.015米，支持密集空间监督的广泛迁移价值。

其几何动机很直观：等宽

w

w

w、等高的两个框只在水平方向错开

δ

\\delta

δ，且

∣

δ

∣

<

w

|\\delta|<w

∣δ∣<w 时：

论文式（3）：

IoU

⁡

(

δ

)

=

w

−

∣

δ

∣

w

+

∣

δ

∣

,

IoU

⁡

(

δ

)

≥

τ
  

⟺
  

∣

δ

∣

≤

w

1

−

τ

1

+

τ

.

\\operatorname{IoU}(\\delta)=\\frac{w-|\\delta|}{w+|\\delta|}, \\qquad \\operatorname{IoU}(\\delta)\\geq\\tau \\;\\Longleftrightarrow\\; |\\delta|\\leq w\\frac{1-\\tau}{1+\\tau}.

IoU(δ)=w+∣δ∣w−∣δ∣​,IoU(δ)≥τ⟺∣δ∣≤w1+τ1−τ​.

假设阈值0.9、目标宽10像素，允许位移仅约0.526像素。这个计算只是等尺寸水平平移的简化模型，却清楚说明小目标对绝对误差更敏感。

去掉OCR/布局/GUI辅助组，机器人ID/OOD下降5.33/3.63个百分点；但只保留该组又最差，说明它与其他任务互补。这个组包含三类监督，不能把整体删组效应全部归因于OCR，也不能把各个留一消融差值相加当作独立贡献。

7.1 OCR“催化感知”仍然是待验证机制

表18｜OCR混合时序。星号、缺失项与协议例外沿用论文，需结合正文解释。

冷启动加入OCR与训练批次持续混合结合时，机器人迁移最好；驾驶L2在显示精度下都为0.296。OCR是否通过文字转写梯度改善非文字空间识别，仍需更细对照。

把OCR响应位置拆成框、转写和协议三类，损失可写为：

论文式（4）：

L

O

C

R

=

L

b

+

L

t

+

L

p

,

L

r

=

−

1

∣

T

∣

∑

i

∈

T

r

log

⁡

p

θ

(

y

i

∣

I

,

Q

,

y

<

i

)

,

r

∈

{

b

,

t

,

p

}

.

\\mathcal L_{\\mathrm{OCR}}=\\mathcal L_b+\\mathcal L_t+\\mathcal L_p, \\qquad \\mathcal L_r=-\\frac{1}{|\\mathcal T|}\\sum_{i\\in\\mathcal T_r} \\log p_\\theta(y_i\\mid I,Q,y_{<i}),\\quad r\\in\\{b,t,p\\}.

LOCR​=Lb​+Lt​+Lp​,Lr​=−∣T∣1​i∈Tr​∑​logpθ​(yi​∣I,Q,y<i​),r∈{b,t,p}.

要隔离转写梯度，应移除

L

t

\\mathcal L_t

Lt​，但保留转写token作为teacher-forcing条件，并保持总分母。删掉转写token会改变框预测条件，重新归一化剩余token又会改变其他损失权重，都不再是单纯的“移除转写监督”。

对于视觉参数

θ

v

\\theta_v

θv​，令转写梯度为

g

t

g_t

gt​，非文字grounding梯度为

g

g

g_g

gg​。在局部Hessian范数有界条件下：

论文式（5）：

L

g

(

θ

v

−

η

g

t

)

−

L

g

(

θ

v

)

≤

−

η

⟨

g

g

,

g

t

⟩

+

H

η

2

2

∥

g

t

∥

2

2

.

\\mathcal L_g(\\theta_v-\\eta g_t)-\\mathcal L_g(\\theta_v) \\leq-\\eta\\langle g_g,g_t\\rangle +\\frac{H\\eta^2}{2}\\lVert g_t\\rVert_2^2.

Lg​(θv​−ηgt​)−Lg​(θv​)≤−η⟨gg​,gt​⟩+2Hη2​∥gt​∥22​.

当两种梯度方向一致且学习率足够小时，这个上界允许非文字损失下降。它是条件性的局部分析，不是对真实训练全过程的证明；AdamW还应检查实际参数更新方向。论文提出了可检验假设，完整机制验证仍未完成。

8. 输出更短，离实时动作还差一次端到端测量

图11｜坐标、视觉编码器与RL消融。来自GroundingPI技术报告。

量化坐标相对文本坐标使grounding均分从71.21提高到73.68；替换视觉编码器或移除强化后训练也会降低该配置下的表现。其中去掉RL为72.86，对应0.82个百分点差异。

表5｜坐标序列开销。星号、缺失项与协议例外沿用论文，需结合正文解释。

COCO上平均每框7.6token，对照外部SEED1.5-VL统计148.8；Dense200为5.1与74.5。这对应约19.6倍和14.6倍的序列压缩，不是相同硬件、相同输入、相同解码实现下的推理加速倍数。

图12｜实例数量与生成成本。来自GroundingPI技术报告。

同类多个框共享标签，目标多时可以摊薄包装开销；但总输出仍随目标数增加。实际系统需要分开测量视觉前向、prefill、自回归输出、解析、坐标转换与动作执行，记录尾延迟，而不仅是平均token速度。

如果下游只需要当前操作对象，直接请求与目标相关的区域可能比每帧输出所有物体更合适；若任务要求盘点全部实例，则不能以少输出换取表面速度。这属于任务协议与服务预算的共同设计。

9. 为什么架构讨论不能被简化成“线性注意力不适合机器人”

论文比较的基础模型在视觉编码器、语言架构、预训练、连接器和规模上都不同。RynnBrain1.1的Qwen3.5基础包含线性注意力与门控，RynnBrain使用全注意力Qwen3-VL；前者机器人结果更弱、驾驶结果却更好。这一现象提出研究问题，但没有隔离某种注意力结构的因果作用。

9.1 行为损失能否访问到空间特征

把八个深度的动作接口写为：

论文式（6）：

C

s

=

R
 ⁣

(

LN

⁡

(

H

ℓ

s

)

W

B

+

e

s

)

,

s

=

0

,

…

,

7

,

y

^

=

A

ϕ

(

ξ

;

C

0

,

…

,

C

7

)

.

C_s=\\mathcal R\\!\\left(\\operatorname{LN}(H_{\\ell_s})W_B+e_s\\right),\\quad s=0,\\ldots,7, \\qquad \\hat y=\\mathcal A_\\phi(\\xi;C_0,\\ldots,C_7).

Cs​=R(LN(Hℓs​​)WB​+es​),s=0,…,7,y^​=Aϕ​(ξ;C0​,…,C7​).

R

\\mathcal R

R为重采样器，

W

B

W_B

WB​为共享投影，

e

s

e_s

es​为深度嵌入，

A

ϕ

\\mathcal A_\\phi

Aϕ​是预测flow速度的动作模型。一个视觉信息即使保留在主干里，也不代表动作接口能在有限训练预算内有效读出；关键是整条特征到动作的路径。

对于一个Gated DeltaNet头，论文用如下状态更新讨论条件性传递：

论文式（7）：

S

t

=

S

t

−

1

A

t

+

β

t

v

t

k

t

⊤

,

A

t

=

α

t

(

I

−

β

t

k

t

k

t

⊤

)

,

o

t

=

S

t

q

t

.

S_t=S_{t-1}A_t+\\beta_t v_tk_t^\\top, \\qquad A_t=\\alpha_t(I-\\beta_t k_tk_t^\\top), \\qquad o_t=S_tq_t.

St​=St−1​At​+βt​vt​kt⊤​,At​=αt​(I−βt​kt​kt⊤​),ot​=St​qt​.

固定key、query、gate与其他value，仅扰动

v

j

v_j

vj​，在键归一化、门值有界的假设下有：

论文式（8、9）：

Δ

o

t

=

κ

j

t

Δ

v

j

,

κ

j

t

=

β

j

k

j

⊤

A

j

+

1

⋯

A

t

q

t

,

t

≥

j

,

∣

κ

j

t

∣

≤

β

j

Q

∏

r

=

j

+

1

t

α

r

.

\\begin{aligned} \\Delta o_t&=\\kappa_{jt}\\Delta v_j, \\qquad \\kappa_{jt}=\\beta_j k_j^\\top A_{j+1}\\cdots A_tq_t,\\quad t\\geq j, \\\\ |\\kappa_{jt}|&\\leq\\beta_j Q\\prod_{r=j+1}^{t}\\alpha_r. \\end{aligned}

Δot​∣κjt​∣​=κjt​Δvj​,κjt​=βj​kj⊤​Aj+1​⋯At​qt​,t≥j,≤βj​Qr=j+1∏t​αr​.​

当沿途遗忘门有统一小于1的上界时，这条value通路的上界可随序列距离衰减。序列距离并不是图像物理距离，也不代表整个模型的全部信息通路；残差与全注意力层仍可能传递相关信息。

考虑所有深度读出、投影、重采样和动作模型，条件value通路的Jacobian为：

论文式（10）：

J

j

r

e

c

=

∑

t

=

j

T

κ

j

t

R

t

,

∇

v

j

r

e

c

L

a

c

t

=

(

J

j

r

e

c

)

⊤

∇

y

^

L

a

c

t

.

J_j^{\\mathrm{rec}}=\\sum_{t=j}^{T}\\kappa_{jt}R_t, \\qquad \\nabla_{v_j}^{\\mathrm{rec}}\\mathcal L_{\\mathrm{act}} =(J_j^{\\mathrm{rec}})^\\top\\nabla_{\\hat y}\\mathcal L_{\\mathrm{act}}.

Jjrec​=t=j∑T​κjt​Rt​,∇vj​rec​Lact​=(Jjrec​)⊤∇y^​​Lact​.

其中

R

t

R_t

Rt​ 包含后续网络对位置

t

t

t 的动作敏感度。

t

=

j

t=j

t=j 的项仍允许访问当前token自己的状态，后续通路也可能放大或抵消影响，因此不能仅凭某一遗忘系数就判断动作失败。

9.2 门控与多层视觉注入需要受控实验

对

b

=

W

o

(

g

⊙

u

)

b=W_o(g\\odot u)

b=Wo​(g⊙u)、

g

=

σ

(

z

)

g=\\sigma(z)

g=σ(z)，有：

论文式（11）：

∇

u

L

a

c

t

=

g

⊙

W

o

⊤

λ

,

∇

z

L

a

c

t

=

g

⊙

(

1

−

g

)

⊙

u

⊙

W

o

⊤

λ

.

\\nabla_u\\mathcal L_{\\mathrm{act}}=g\\odot W_o^\\top\\lambda, \\qquad \\nabla_z\\mathcal L_{\\mathrm{act}} =g\\odot(1-g)\\odot u\\odot W_o^\\top\\lambda.

∇u​Lact​=g⊙Wo⊤​λ,∇z​Lact​=g⊙(1−g)⊙u⊙Wo⊤​λ.

小门值会衰减该分支的特征梯度，饱和会衰减门logit梯度；但这没有考虑所有残差通路与优化器的实际更新，也不证明门控对所有任务有害。

DeepStack通过多层注入视觉特征丰富表示。局部扰动下，各注入层对动作输出的贡献为：

论文式（12）：

B

ℓ

=

∑

s

:

m

s

>

ℓ

∂

y

^

∂

c

s

∂

c

s

∂

h

m

s

J

m

s

−

1

⋯

J

ℓ

+

1

U

ℓ

,

δ

y

^

=

∑

ℓ

∈

I

B

ℓ

δ

f

ℓ

+

O

(

∥

δ

f

∥

2

2

)

.

\\begin{aligned} B_\\ell&=\\sum_{s:m_s>\\ell} \\frac{\\partial\\hat y}{\\partial c_s} \\frac{\\partial c_s}{\\partial h_{m_s}} \\mathcal J_{m_s-1}\\cdots\\mathcal J_{\\ell+1}U_\\ell,\\\\ \\delta\\hat y&=\\sum_{\\ell\\in\\mathcal I}B_\\ell\\,\\delta f_\\ell +O(\\lVert\\delta f\\rVert_2^2). \\end{aligned}

Bℓ​δy^​​=s:ms​>ℓ∑​∂cs​∂y^​​∂hm<span class=\"\" style=\"