腾讯混元开源 EmoReward：让奖励学会分配注意力

视频生成的强化学习里，情感是最难打分的一项：画面可以比清晰度，悲伤和喜悦却没有唯一正确答案。固定权重地融合视觉质量、运动质量、文本对齐，模型很快学会钻空子，把「像高质量视频」优化到极致，唯独情感不对味。腾讯混元与港科大等团队的 EmoReward（arXiv 2611.06518）给奖励系统装上了一套会自我进化的注意力机制。

流程分四拍。Plan：把提示词先翻译成 EmoScript，写清效价唤醒目标、面部 AU 强度、身体线索和表情窗口。Act：七个异构评分源同时打分，从 VLM judge、面部 AU、身体姿态、时序到 R1-Omni，另有色彩和动量两个辅助通道。Reflect：实例级门控登场，按阶段、冲突度、人脸占比、动作细微度和有效性动态加权，只信当前这条视频真正活跃的证据。Evolve：训练结束后，从历史 rollout 轨迹里按情感 regime 统计每个评分源与参考结果的可靠性相关，生成有界乘子，供下一轮训练的固定融合权重使用，奖励模型参数一个都不动。

这套「奖励模型与记忆全程冻结、只有生成器吃梯度」的设计，让它可以叠在任何 RL 算法上。基于 HunyuanVideo 1.5 的实测：在 DanceGRPO、FlowGRPO、SAGE-GRPO 三种算法下，VideoAlign 总分分别提升 0.3218、0.2343、0.5645（论文口径）。18 人、30 条提示的人评里，情感忠实度、时序连贯、视觉质量的 Good 占比拿到 60.0%、54.3%、57.2%，相对 SAGE-GRPO 的提升为 7.0、2.8、12.2 个百分点。

更有意思的是全局乘子透出的「信任结构」：macro 类信号乘子 1.833、运动 1.510，三个常数通道只有 0.778，等于系统自己学会了更信面部 macro 表情和身体运动、更怀疑一成不变的通道。项目页与代码仓库已开源（Tencent-Hunyuan/EmoReward），做视频生成 RL 的团队可以直接把这套门控加进自己的奖励管线。