HF Daily Papers·· 2 天前精选AI 评分43
S3AC：面向 LLM 推理的稳定、选择性、可扩展 Actor-Critic 方法
S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
AI 导读
S3AC 提出一种稳定化的 Actor-Critic 训练方法，通过难度感知提示词采样改进大语言模型的长链式推理，并减少对分组 rollout 的依赖。训练后的 critic 提供 token 级优势和提示词特定基线，DAPS 再结合难度估计与历史结果，在生成前选择提示词，以减少 rollout 浪费且无需离线难度初始化。
推荐理由
论文将 critic 训练、token 级信用分配与难度感知采样整合，并用多规模模型和单 rollout 对比呈现方法收益。
来源：HF Daily Papers · huggingface.co