跳到正文
原文
HF Daily Papers·· 4 天前精选AI 评分50

SepGen:单模型实现多音轨音视频分离与生成

SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model

AI 导读

SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。

推荐理由

SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。

来源:HF Daily Papers · huggingface.co