HF Daily Papers·· 4 天前精选AI 评分40
PreSTO：通过预测子树预取加速 LLM 幂次采样
PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
AI 导读
PreSTO 提出针对 PowerMH 幂次采样的子树预取加速方法，在不改变 Metropolis–Hastings 转移核的前提下，把未来提议以一个模型调用批量预取，再沿已实现路径用原 MH 规则接受。
推荐理由
在保持 MH 转移核不变的前提下给出可复现的推理加速方法，并附带在多个数据集与模型上的实测数据，便于迁移到其他采样器优化。
来源：HF Daily Papers · huggingface.co