HF Daily Papers·· 3 天前精选AI 评分36
VEDJE:面向可扩展视频文本检索的高效判别联合编码器
VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
AI 导读
VEDJE 用 33M 参数联合编码器在压缩缓存上做视频文本检索,在 MSR-VTT 上以约 49× 更少在线参数达到 59.8 R@1。每段视频压缩至 48 KiB,约为原始视觉特征的 1/128.5,并在匹配的首阶段检索器上额外提升 3.6–7.2 R@1。作者还引入特征变化预测目标以改善检索精度,代码与 Colab 演示已开源。
推荐理由
用一次性视频压缩配合轻量联合编码器替代完整视频重编码,给出了可复现的开源实现和多模态检索的工程取舍。
来源:HF Daily Papers · huggingface.co