设备端级联语音智能体通过推测执行隐藏工具调用延迟

研究人员在设备端级联语音智能体中引入推测式工具执行，通过 Predictor 模块在 ASR 阶段预测工具调用并预先缓存结果，将 Android 语音助手首音频响应时间中位数从 5.79s 降至 4.60s。框架同时加入基于规则的自校正校验以过滤用户口误，并在最坏情况下由 LLM 直接调用工具兜底，最终将响应延迟标准差从 3.49s 降至 2.81s。