视频扩散模型成了通用的潜在动作学习器

教机器人「看视频学动作」的潜在动作模型有个老毛病：动作表征里缠着一堆无关的外观变化，换个场景、换个机身就迁移不动。KAIST AI 的 DreamX（arXiv 2611.05377）的解法很优雅：让预训练视频扩散模型自己来学潜在动作：它的生成先验本来就擅长「处理外观」，正好把外观从动作里剥离出去。

机制上，DreamX 从视频模型的时空特征中提取紧凑的潜在动作，每个潜在视频帧压缩约 300 倍（1200 个 token 压到 4 个），外观信息交给视频模型的生成先验处理，潜在动作只编码与动作相关的动态。得到的潜在空间成为跨具身（人类与机器人）、跨环境、跨动作参数化的共享动作接口。

成绩按论文口径：在 LARY-Bench 上达到潜在动作模型的 SOTA；支持 any-to-any 视频迁移与跨具身、跨环境的零样本动作迁移；紧凑的潜在动作空间让策略学习成本低于基于视频扩散的策略。

对具身智能团队，这篇和此前写过的 H2RB 是同一问题的两种解法：H2RB 用几何锚定桥接人与机器人的动作空间，DreamX 用视频扩散的生成先验解耦外观与动作。两条路都在回答同一个问题：怎么让机器人从「看」里学到「做」，而不用为每种具身重新收集昂贵的演示数据。DreamX 的项目页（cvlab-kaist.github.io/DreamX）已公开，潜在动作的 300 倍压缩意味着策略训练的输入尺寸不再是瓶颈，这对算力有限的实验室是个实打实的利好。