跳到正文
原文
HF Daily Papers·· 1 天前精选AI 评分36

论文提出 FAPL,利用 MLLM 潜变量实现电影化视频的稀疏推理与因子控制

Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation

AI 导读

论文提出因子感知预测学习 FAPL,通过分阶段训练让视频 DiT 更有效地利用 MLLM 潜变量,支持稀疏时间推理与因子感知的电影化控制。训练先以冻结的 MLLM 和连接器强化 DiT 的潜变量利用,再通过 factor-span replacement 学习目标因子改变与非目标保持,最后冻结 DiT 并优化 MLLM 和连接器,兼顾有限输入表示学习与完整观察重建。

推荐理由

论文将 MLLM 潜变量利用、稀疏推理和因子控制放进同一分阶段训练框架,便于理解多模态表征如何用于电影化视频生成。

来源:HF Daily Papers · huggingface.co