热点事件观察中
TokenRouter：面向 token 级 LLM 路由的高效推理服务系统
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
THU-NICS 团队发表论文并开源 TokenRouter，一个面向 token 级 LLM 路由的高效推理服务系统。该系统采用请求中心编程、模型中心执行的架构，每个 LLM 启动独立子服务器并配合延迟批处理调度器，调度器超参数由吞吐模型推导得出。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 04:00
TokenRouter：面向 token 级 LLM 路由的高效推理服务系统报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- HF Daily Papers精选TokenRouter：面向 token 级 LLM 路由的高效推理服务系统
TokenRouter 是面向 token 级 LLM 路由推理的高效服务系统，采用请求中心编程、模型中心执行架构，每个 LLM 启动独立子服务器并配合延迟批处理调度器，调度器超参数由吞吐模型推导得出。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。