OPST 论文提出大语言模型无人工问答数据的自我训练框架

研究提出 On-Policy Self-Training（OPST），让大语言模型仅凭粗粒度主题描述生成问题、答案和特权推理示范，在不依赖人工编写问答的情况下实现自我改进。伪验证过滤器只保留模型能在新上下文和改写问题中复现答案的题目。实验覆盖域内自我改进、域外知识保持和 Visual OPST 多模态迁移，结果显示其提升语言与多模态推理，并优于其他训练策略。