HF Daily Papers·· 2 天前精选AI 评分45
AKV 提出面向智能体的缓存工程方法
Cache Engineering for Agents
AI 导读
AKV 提出缓存工程方案,让大语言模型智能体在不修改轨迹的情况下直接管理活跃 KV cache。智能体可用 drop 操作将选定缓存排除出后续注意力计算,或用 repos 操作调整保留键的位置编码;配套服务引擎提供兼容现有 serving API 的无状态接口,并在内部管理有状态缓存复用、淘汰和恢复。
推荐理由
AKV的滚动丢弃策略在基准测试中与阈值触发摘要比较,量化了平均分、成本、吞吐和P95延迟的差异。
来源:HF Daily Papers · huggingface.co