HF Daily Papers·· 4 天前精选AI 评分50
SepGen:单模型实现多音轨音视频分离与生成
SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
AI 导读
SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。
推荐理由
SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。
来源:HF Daily Papers · huggingface.co