跳到正文
HF Daily Papers·· 6 天前精选AI 评分50

Falcon:面向真实声学场景的高效流式音视频目标说话人提取

Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes

AI 导读

Falcon 是一种因果音视频目标说话人提取模型,利用目标说话人的嘴部视频从噪声和重叠语音中提取其声音。模型采用单次多尺度时频分离器与编码空间说话人对比损失,相较 causal AV-TFGridNet,可训练参数减少 91.9%,计算量降低 20.2×,GPU 推理延迟降低 11.1×。

推荐理由

论文提供真实场景基准,并报告相对 causal AV-TFGridNet 的参数、算力与延迟对比,便于评估效率取舍。

来源:HF Daily Papers · huggingface.co