ByteNoteByteNote
机器人也有空间感了:SLA 把空间理解做成基础能力
字

字节笔记本

2026年11月7日 · 约 2 分钟读完

机器人也有空间感了:SLA 把空间理解做成基础能力

API中转
¥120

机器人基础模型(VLA)最近的主流做法是把"空间理解"当成一个下游任务来微调——哪个任务要空间,就给哪个任务加空间模块。11 月 5 日提交的 SLA 论文(arXiv:2611.08373,HF Daily Papers 11 月 6 日上榜)反着来:通过持续预训练把空间理解做成可迁移的基础能力,而不是任务级补丁。

SLA 项目页

方法(论文口径)

  • 底座:从预训练好的 pi05 策略初始化;
  • 持续预训练:联合优化动作预测,以及中间视觉嵌入与冻结的 3D 感知模型(当教师)输出的空间表征之间的对齐;
  • 数据:整合多种本体、任务、场景的异构机器人数据集;
  • 两个技巧:特征依赖门控(feature-dependent gates)在 VLA 的多层间自适应聚合视觉嵌入做空间监督;概率状态 dropout 降低对示范数据的过拟合;
  • 关键设计:3D 教师、门控、dropout 全部只在训练期使用——推理架构与原 VLA 完全一致,部署侧零额外开销。

为什么这个思路值得注意

"训练期加教师、推理期不加"是知识蒸馏里的经典结构,用在空间表征上有明确的工程价值:3D 感知模型(依赖深度/相机标定)又贵又重,不可能塞进每一台机器人的推理循环;但如果它在训练期教会了 VLA"看懂空间",这份能力就留在了模型权重里。SLA 的主张是把空间理解从"给某个任务打的补丁"升级为"底座自带的迁移能力",下游任务直接受益。

边界与判断

对做具身智能、机器人 VLA 的团队,这篇的方向信号是:空间先验正在从"任务配件"变成"底座标配"。三点校准:① 摘要页未列定量结果,数字要看全文(arXiv 2611.08373),本文不替它吹成绩;② 基于 pi05 底座的结论,能不能迁移到其他 VLA 待验证;③ 代码已开源在 OpenHelix-Team/Spatial-Forcing(SLA 子目录),项目页 SLA.github.io——想验的可以自己跑。

参考来源

相关文章

分享: