TAO 论文提出面向 LLM 智能体服务的工具感知联合调度框架

TAO 论文提出一种面向 LLM 智能体服务的工具感知联合调度框架，通过动态规划在容量约束下联合选择并部署等待会话。框架综合近期工具就绪度、带时间感知衰减的节点缓存额度与 token footprint，避免现有系统忽略工具返回就绪和启发式调度造成的资源浪费。