从 28.6% 到 89.7%：LeWAM 让 JEPA 机器人又能控制又能规划

今日 Hugging Face Daily Papers 榜单的榜首被一篇机器人论文拿下：LeWAM: End-to-End World and Action Modeling with JEPAs，arXiv 编号 2610.12818，10 月 8 日提交到 cs.RO 分类，单日收获 228 个赞。论文作者为 Minghao Fu、Tavis Siebert、Eryk Halicki 与 Randall Balestriero，项目页面在 le-wam.github.io。

它要解决什么

JEPA（联合嵌入预测架构）这两年在视觉表征学习领域热度很高，思路是在潜空间里做预测而不是重建像素。但把它搬到机器人控制上，此前的主流做法是分阶段流水线：先训练视觉表征和动力学模型，再外挂一个策略头或求解器。问题是这种拼装式方案在难任务上表现不佳，接触密集的操作经常失败。LeWAM 的核心主张是端到端：把世界建模和动作建模合进同一个模型里联合训练。

具体做法有两点。其一，用组合目标函数同时做下一潜状态预测和动作流匹配，让模型既懂环境怎么演化，也懂动作怎么生成。其二，对潜状态施加各向同性高斯约束，稳定潜空间的结构。整个过程不做像素重建，训练开销和推理速度都因此受益。

一个模型两种用法

LeWAM 训练完成后有两种使用方式。第一种是直接当策略执行，输出连续控制动作；第二种是当规划器用，对采样出来的候选动作用学到的潜动力学打分，挑最优的执行。以往这两件事通常需要两套系统，现在合并在一个模型里。

成绩单

论文给出的对比数字相当醒目：在接触密集任务上，成功率从此前 JEPA 方案的 28.6% 提升到 89.7%；长时程任务从 10.9% 提升到 46.2%；规划速度提升 32.3 倍。在仿真环境和实体机器人上，行为克隆的表现也与既有方法保持了竞争力。论文的可解释性分析进一步确认，模型确实学到了与控制相关的潜表征，而不是死记轨迹。

为什么值得关注

对做具身智能的工程团队来说，这篇论文的价值在于路线简化：省掉分阶段训练的调参负担，一个模型覆盖感知、预测、控制和规划。从工程视角看还有一层参考价值：动作流匹配把连续控制的生成问题转化成了潜空间里的打分问题，这类统一建模的思路对其他需要决策的 agent 系统也有借鉴意义，比如长时程任务里先采样再筛优的规划模式。

当然，89.7% 的数字来自论文自设的对比基准，实际迁移到产线机器人还需复现验证。论文目前未附开源代码仓库链接，感兴趣的读者可以从项目页 le-wam.github.io 和 arXiv 全文入手自行评估实验设置。