跳到正文
原文
HF Daily Papers·· 5 天前精选AI 评分38

OmniXRef:支持文本、图像与视频多参考的统一视频编辑框架

OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing

AI 导读

OmniXRef 提出一个统一的多模态多参考视频编辑框架,允许用户在源视频上同时叠加可变数量的文本、图像与视频参考,分别控制主体外观、相机运动等不同属性。其模型 OmniXRef-Model 采用单流扩散 Transformer,将源视频与来自 MLLM 的多模态上下文在交错序列中联合处理,并引入 R^2-RoPE 位置编码以增强对更多参考的泛化能力。

推荐理由

原文提出统一框架同时接收文本、图像、视频三类参考来控制视频编辑,并给出专用训练数据和评测基准,对多模态可控视频生成有方法参考价值。

来源:HF Daily Papers · huggingface.co