HF Daily Papers·· 2 天前精选AI 评分41
TokenRouter：面向 token 级 LLM 路由的高效推理服务系统
TokenRouter: Efficient Serving System for Token-Level LLM Routing
AI 导读
TokenRouter 是面向 token 级 LLM 路由推理的高效服务系统，采用请求中心编程、模型中心执行架构，每个 LLM 启动独立子服务器并配合延迟批处理调度器，调度器超参数由吞吐模型推导得出。
推荐理由
原文给出 token 级路由推理的系统设计与吞吐提升幅度，读者可据此判断该方案对多模型协同推理栈的实际可用性。
来源：HF Daily Papers · huggingface.co