跳到正文
原文
HF Daily Papers·· 2 天前精选AI 评分48

论文提出面向任意骨骼绑定的 3D 运动与视频联合生成模型

Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs

AI 导读

论文提出一种面向任意骨骼绑定的模型,可联合生成视频与 3D 运动,并估计相机以将运动对齐到场景。模型把独立的 3D 运动模型通过少量交叉注意力层连接到预训练视频生成器,训练中使用生成式视频编辑器以及人类和机器人视频,形成 nearly 200K 训练对。

推荐理由

论文比较了任意骨骼动画中联合生成与视频优先方案的差异,评测重点落在文本驱动忠实度与场景响应。

来源:HF Daily Papers · huggingface.co