HF Daily Papers·· 5 天前精选AI 评分38
ACT3D:通过强化学习让视觉语言模型在 3D 环境中学会思考与主动探索
Learning to Think and Explore in 3D World
AI 导读
ACT3D 通过强化学习训练视觉语言模型从单张第一人称视角主动探索 3D 环境,以最终答案正确性作为奖励信号,无需对探索路径做直接监督。在六个 3D 基准上平均准确率达 53.2%,相对基座 Qwen 模型提升 22.0%、超过 Gemini 3.6 Flash,输入帧数比现有开源 3D 方法少 50-70%,并在未见过的领域平均提升 5.9%。
推荐理由
原文给出基于结果奖励的强化学习方法,让 VLM 学会在 3D 环境中自适应探索,可作为视觉问答主动感知范式的参考。
来源:HF Daily Papers · huggingface.co