HF Daily Papers·· 16 天前精选AI 评分48
CoSTA:通过解耦生成与合成 token 空间加速语音对话模型
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
AI 导读
论文提出 CoSTA,通过解耦语音对话模型的生成与合成 token 空间,在保留原 tokenizer 和 decoder 的同时提升推理效率。在双语语音对话基准上,扩展语音 token 的生成速度达到约 1.7times,完整响应延迟降低、吞吐量提高,同时保持回答质量。
推荐理由
论文将语音对话模型的生成与合成 token 空间解耦,在保持回答质量的同时呈现推理加速效果及压缩、效率与质量之间的权衡。
来源:HF Daily Papers · huggingface.co