ByteNoteByteNote
Adobe 开源 MoviEdit:87K 配对数据搞定长片多镜头编辑
字

字节笔记本

2026年11月6日 · 约 1 分钟读完

Adobe 开源 MoviEdit:87K 配对数据搞定长片多镜头编辑

API中转
¥120

视频编辑模型大多只能处理几秒钟的单镜头,长片一剪就露馅:镜头切了、场景换了、主角的衣服颜色得保持一致,这对模型的记忆与一致性要求完全不是一个量级。Adobe 的 MoviEdit(arXiv 2611.02737)正面解决了长篇多镜头编辑,还顺手把数据与评测基准一起开源了。

MoviEdit 论文页面

三件事一起做。数据:自动生成管线覆盖同步多视角素材、真实多镜头视频与生成内容,不需要人工标注就产出 87,000 对编辑视频。建模:级联双向自回归架构,先用轻量双向阶段在时空压缩表示上生成全局一致的编辑草稿,再自回归地传播并细化到全片,跨镜头一致性由草稿阶段锁定。评估:提出 MoviEdit-Bench 基准做系统化评测。

成绩按论文口径:文本引导与图像引导编辑上与工业前沿模型表现相当,大幅超过现有开源模型;HF 页面 74 个 upvote,项目页与基准仓库都已公开(MoviEdit-Bench 仓库当前约 17 星)。

对做视频后期、广告本地化和内容二次创作的团队,这篇补的是「长」这个维度:短镜头编辑器很多,能跨场景跨视角保持人物一致性的长片方案稀缺,开源的更少。配合数据管线一起看,这也是一篇「怎么自动造编辑训练数据」的方法论示范。对长视频平台的二次创作生态(解说、混剪、本地化配音)来说,跨镜头一致性编辑是刚需,开源方案的出现把这类能力的获取成本拉到了可自托管的水位。基准(MoviEdit-Bench)与项目页(multi-shot-edit.github.io)同步公开,复现与对比都有抓手。

相关文章

分享: