Sakana AI 提出 MASS：让模型通过多智能体自监督实现递归自我改进

多智能体自我监督
通过集体智能实现递归自我改进

要在人类积累的知识之上更进一步，AI 本身（即优化对象）或许也正是它最可及的优化器与评估器。MASS 反复优化多智能体工作流，再从多智能体系统中提炼集体智能，将其作为 RSI 的自我监督信号。它在研究基准上较基座模型提升了每个输出 token 的得分。我们希望 MASS 能助力 AI 的「奥德赛时刻」：在优化对象即是评估器、优化器即是优化对象的设定下实现持续自我学习。

预计阅读时长：15 分钟

† 工作完成于在 Sakana AI 的实习期间。

Engraving of a printing workshop around 1600: workers set type on the left, operate a press on the right, and lay out printed sheets for proofreading in the foreground. — **图 1. 从共同劳作到共享知识。** 这幅版画将排版、印刷与校勘描绘为协同流程中的若干环节。书籍将成果带出工坊，使他人得以学习并在其上继续构建。MASS 借鉴了一个相近的理念：团队成员的集体协作成果，可为其所共享的模型提供训练样本。 Jan Collaert I，仿 Stradanus，*《印刷术之发明》*，约 1600 年。大都会艺术博物馆，Harris Brisbane Dick Fund，1934 年。公共领域（CC0）。

我们希望前沿 AI 模型能将我们带出人类世代积累的知识体系。在那片前沿，即便人类专家也可能难以评判成果并指引进一步进展，尤其在那些难以验证的任务上。例如，评估一项拟议中的发现可能需要稀缺的专业知识、高昂的证据，或是耗时远超提出方案本身的实验。此时，模型本身就不可避免地成为能力最强的可用监督者，并须自行摸索改进之道。这催生了同构递归自我改进（RSI）：被改进的模型（优化对象）同时也担任自身的优化器与评估器。其核心问题是：如何在这一同构循环中获取有用的自我监督。

人类社会为思考这一问题提供了一个有益的类比。从狩猎采集群落、到农耕聚落、再到工业社会与全球信息网络，人类之所以不断拓展能力，部分得益于分工协作、交流思想并传承所学。集体成就会成为进一步学习的起点。在《科学革命的结构》中，托马斯·库恩（Thomas Kuhn）着重强调了那些让科学家学会识别并解决问题的共享范例——一个科学共同体的成就，由此成为其成员学习开展新工作的一部分。

受这一模式的启发，我们提出一个问题：模型能否从其自身团队的集体智能中学习，而这种智能往往是单个智能体难以稳定展现的。

我们提出多智能体自我监督（Multi-Agent Self-Supervision, MASS），将该理念转化为一个学习闭环。MASS 以同一模型同时充当执行者、优化器和评估器。优化器首先依据评估器的反馈搜索出最佳团队工作流，再以自评为最优团队的执行结果训练执行者；更新后的模型再次同时承担这三个角色，循环往复。因此，MASS 通过将团队的集体经验提炼至共享模型之中，为 RSI 提供了自我监督信号。

同构 RSI

我们研究同构 RSI，其中一个共享的语言模型同时担任任务求解智能体、工作流优化器和评估器：

智能体

任务求解器，即被优化对象。生成包含结果、图表和研究报告的工作区。

工作流优化器

利用评估器的反馈来修订智能体之间的任务分工、结果交换和互相校验方式。

评估器

比较两个工作区，选择哪个更好地满足任务，并解释判断依据。

我们使用不可验证的研究任务作为训练数据。所谓不可验证，是指没有可用的基于规则的自动信号，只有自评估信号（其正确性未知）引导整个学习循环。

为了衡量进展，我们分别请 GPT-5.5 和 Claude Opus 4.8 对完成的工作进行评估。它们的判断结果对 MASS 保密。这为我们提供了一种外部的改进度量，用于衡量一个其监督信号来自模型自身的过程。

MASS 的工作原理

MASS 利用工作流优化来激发集体智能，再把团队的经验提炼到共享模型中。内层循环在模型权重保持不变的情况下优化团队的工作流。模型自行评估并判断哪个工作流最优。外层循环则通过学习优化后工作流的执行结果来更新权重。下方的交互式示意图展示了这两个循环。

← 左右滑动查看完整图示 →

图 2. MASS。工作流搜索改变了智能体之间的协作方式。在精选执行结果上训练会把它们的经验融入共享权重。更新后的模型继续承担全部三个角色。该动画演示了这一过程。拖动进度条可探索动画的任意部分，包括暂停时。将鼠标悬停在组件上可查看详情，或选中它跳转到对应说明。文中的下划线术语链接到示意图。

0. 设置：把工作流作为提示

工作流是多智能体团队如何协作的书面计划。编排器把任务分配给各个子智能体，并整合它们的结果。该计划被附加到任务提示中，使团队的组织方式可供模型检查和修改。它包含四个组成部分：

角色：分配给每个子智能体的职责，例如准备数据。
指令：子智能体应执行的工作。
契约：它必须返回的信息和产物，包括任何必要的检查。
跳转：子智能体调用的顺序，包括是否返回到更早的步骤。

例如，进化后的金融工作流将数据准备、特征构建、建模和回测排列成一个序列，然后进行审计。其数据契约要求对数据的时序进行明确检查：

进化后的金融工作流（摘自论文，略有精简）

Call order
  Data → Features → Modeling → Backtest
       → Audit → Reconciliation → Report

Data specialist's output contract
  validation_report:
    no_future_leakage:           bool
    train_end_before_val_start:  bool
    val_end_before_test_start:   bool

如果回测允许历史决策使用来自未来的信息，它看起来可能很有说服力。该契约要求数据专家检查这一错误，并报告时间划分是否有效。它还告诉后续智能体在继续之前应收到哪些证据。因此，研究计划的一部分体现为智能体必须建立并相互传递的内容。

1. 内层循环：寻找更好的工作流

对于每个训练任务，MASS 会保留一个当前最优：根据当前模型判断迄今找到的最佳工作流。每次迭代包含三个步骤：

1执行。团队按照候选工作流进行操作，产生一个工作区。
2评估。评估器将此工作区与最优工作区进行比较，并解释哪个更优。获胜的候选成为新的最优。
3修订。优化器利用反馈历史提出下一个工作流。

评估器对已完成的工作作出判断；优化器利用该判断来修订产生该工作的流程。优化器的系统提示强调契约与跳跃（hop），引导工作流搜索聚焦于代理之间交换什么信息以及何时接收这些信息。

2. 外层循环：从选定的团队中学习

即便工作流已经优化，长跨度研究工作的质量仍会因运行不同而有所差异。因此，MASS 会以多个随机种子执行自判最优工作流（或称最优工作流，即迄今找到的最优工作流），并使用当前模型对所生成的工作区进行排序，保留排名最高的轨迹。每条轨迹记录了编排器及其子代理的消息、工具调用和工具结果。

1对每个任务运行最优工作流 18 次。
2使用当前模型对生成的工作区进行比较和排序。Bradley–Terry 模型将两两偏好转化为每个工作区的分数。
3每个任务保留最多 16 条轨迹：15 条用于训练，1 条用于验证。
4在构建训练样本时，从编排器的初始提示中移除工作流文本。
5在编排器与子代理对话上使用 LoRA 微调共享模型。模型的输出作为训练目标；任务提示和工具结果提供上下文。

从编排器的训练提示中移除工作流，可以鼓励模型学习如何从任务本身出发来组织工作。

结果

我们在 qwen-code 编码代理环境中，从 Qwen3.6-27B 出发运行了两轮完整的 MASS。我们的合成研究套件包含 12 个任务，涵盖金融、机器人和制药领域，每个任务都需要代码、定量结果以及研究报告。9 个任务被指定用于训练，3 个任务（每个领域 1 个）在后训练中保留。8 个任务最终提供训练数据⁽一个训练任务被排除，因为工作流搜索未找到能胜过其参考工作流的工作流⁾。任务描述在实验前由 GPT-5.5 生成。在 MASS 中，当前的 Qwen 模型提供工作流反馈和训练数据选择。三个测试任务在微调、验证和检查点选择中均被排除，但工作流搜索仍会在它们上进行评估。

我们比较三代模型：基础模型 \(\mathcal{L}^{(0)}\)、第一轮模型 \(\mathcal{L}^{(1)}\) 和第二轮模型 \(\mathcal{L}^{(2)}\)。我们考察其工作质量、组织与判断工作的能力，以及在未提供工作流时运用协调的能力。

更好的任务性能

在三个合成测试任务上，对比基模型的胜率从一轮后的 53.9% 上升到两轮后的 69.9%（表 1）。第二轮模型在与第一轮模型的对比中也赢下了 60.8% 的比较。

**表 1. 合成任务性能。**在八个训练任务和三个从后训练中保留的任务上的外部判断胜率。所有模型收到的任务提示均不含优化工作流。
评估任务	第 1 轮 vs. 基模型	第 2 轮 vs. 基模型	第 2 轮 vs. 第 1 轮
训练任务	65.6%	82.5%	68.1%
测试任务	53.9%	69.9%	60.8%

为测试在合成研究套件之外的迁移能力，我们评估了公开基准。经过两轮之后，每输出 token 的得分达到基模型水平的 1.2–1.6 倍，覆盖 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench（图 3）。

Benchmark scores versus output tokens for the base model and two MASS generations. Round-two score-per-token ratios relative to the base are 1.60 for MLR-Bench, 1.35 for DSBench, 1.20 for ScienceAgentBench, 1.28 for AstaBench E2E-Hard, 0.96 for Terminal-Bench 2.0, and 0.94 for SWE-bench Verified. — **图 3. 公开基准性能。**每条箭头连接基模型（蓝色）到经过两轮 MASS 后的模型（绿色）。标签报告每输出 token 的得分变化，以基模型数值的倍数表示。误差棒显示跨试验的标准差。复现自论文的图 2；附录 C.5 给出基准协议和试验次数。

在与训练任务相似的四个研究基准上增益最强。在 Terminal-Bench 2.0 上每输出 token 的得分为基模型数值的 0.96 倍，在 SWE-bench Verified 上为 0.94 倍，表明迁移效果仍不均衡。我们推测通过在训练数据中引入软件工程任务即可轻松解决这一泛化问题。

观察 1. RSI 中的角色泛化

我们观察到 MASS 实现了 RSI 中的角色泛化。 我们仅在任务求解轨迹上训练模型，并发现工作流优化器和工作空间评估器的能力也随之提升。 这使得 RSI 循环能够持续运行。

Cumulative number of tasks with a workflow unanimously preferred to the base model without a workflow. Later MASS generations reach more tasks in fewer search iterations. — **图 4. 角色泛化。**后续代际能更早地找到成功的工作流。每条曲线在全部三个角色中使用同一代际的模型。当所有六次外部判断都偏好某候选的输出而非基模型在无工作流时的输出时，该任务被记为成功一次。曲线记录每次迭代是否已找到成功方案；后续候选的表现仍可能更差。

图 4 显示，随着循环进行，优化器能更早地找到成功的工作流。

事实上，图 4 在技术上并不是一个非常公平的比较，因为 \( L^{(0)}\) 表示基模型（优化器）更新基模型（被优化者）的设置，而 \( L^{(1)}\) 表示第一轮模型（优化器）更新第一轮模型（被优化者）的设置。为进行公平比较，我们将第一轮模型的工作流交给基模型（表 2）。我们观察到，使用第一轮搜索工作流的基模型在与使用基模型搜索工作流的基模型对比中赢得了 64% 的比较。每一组工作流都是使用其代际的执行器、评估器和优化器发现的。迁移测试在评估期间固定执行权重。它并未在搜索时把优化器与其他角色隔离开。表 2 清楚地表明优化器的能力已经提升。

**表 2. 工作流迁移。**在突出显示的对比中，同一基模型执行两组工作流。外部判断评估由此产生的工作空间。
执行器	工作流来源	对比对象	胜率
第 1 轮	第 1 轮搜索	基模型执行基模型搜索的工作流	80%
基模型	第 1 轮搜索	基模型执行基模型搜索的工作流	64%
基模型	第 1 轮搜索	无工作流的基模型	63%

评估器也更加接近那些强大的外部模型评判器的水平（详见论文）。在三轮迭代中，与那些外部评判器的一致性从 73% 提升到 93%。总体而言，这些结果表明，任务求解示例同样可以提升用于生成和筛选下一轮训练数据的能力。

消融实验 1：最优工作流最大化信息流

究竟是什么让一个最优的多智能体工作流真正有效？

我们分析冠军工作流（即迄今为止找到的最佳工作流）的角色、指令、契约和跳数。对于每个组件，我们估计其文本揭示了多少关于任务的信息。在上面的金融示例中，像"严谨的数据科学家"这样的角色可以应用于许多任务。一份针对交易回测指定泄漏检查的契约则更具特色。我们使用 text-embedding-3-large 和 all-mpnet-base-v2，以及未调整和置换调整的估计器，估计工作流组件嵌入与任务描述之间的互信息。这些统计描述的是工作流文本本身，而非执行过程中交换的消息。样本仅涵盖 8–9 个任务；同一工作流中的智能体并非独立的任务重复。

Changes in estimated task information from search iteration 3 to 11. Roles and instructions decrease overall, while contracts and call order increase, across two embedding models and two estimator variants. — **图 5. 任务信息向契约和调用顺序转移。** 曲线显示了从第 3 次迭代开始的变化。到第 11 次迭代时，估计的任务信息在角色和指令中下降，在契约和跳数中上升，两种嵌入模型和两种估计器都呈现这一趋势。中间过程的变化不一定单调，纵轴刻度也各不相同。

图 5 表明，在工作流优化的首次和末次迭代之间，最优的多智能体工作流倾向于将任务信息更强地编码到契约和跳数中，而较少编码到角色和指令中。我们在此不展示这一点，但组件之间的相互依赖总体上也在下降（有趣！）。这一模式表明，LLM 优化器使工作流组件演化为彼此相互独立，但通过契约和跳数来优化信息流（深入且直观的解释见此博客文章）。在我看来，在离散组件上进行工作流优化，类似于为该编排空间发现一个基向量。

观察 2：多智能体轨迹提供了密集的 RSI 信号

我们观察到，在 RSI 中，来自多智能体系统的轨迹可以比来自单个智能体的轨迹更有效。多智能体执行也改变了训练数据的结构。编排者的对话展示了如何将一个广泛的任务划分为聚焦的子任务并协调其执行。子智能体的对话则展示了如何执行单个子任务。具体而言，我们观察到，联合学习来自编排者的协调能力和来自子智能体的有界执行能力，比从长篇单智能体轨迹中学习，在每个训练 token 上提供了更有效的监督（图 6）。

我们在单智能体轨迹（S、S⁺、S⁺⁺）、多智能体轨迹（M、M⁺）以及二者的混合（X）上，对从同一基础模型独立训练的学生模型进行比较。加号表示更大的训练集；M⁺ 是第一轮的 MASS 模型。下面所有的数据点都报告了在四个训练任务和一个测试任务上汇总的结果。

Win rate against the base model versus supervised tokens processed. Multi-agent student M reaches 56.0% at 3.64M tokens; M+ reaches 68.3% at 28.82M. Single-agent students S, S+, and S++ reach 44.0%, 59.0%, and 64.0% at 1.82M, 9.11M, and 42M tokens. — **图 6. 每个监督训练 token 的性能。** 多智能体学生位于连接观测到的单智能体结果的直线之上。得分汇集了四个共享训练任务和一个测试任务。token 计数包括截至所选检查点为止处理的监督目标，包含重复采样；不包含数据生成、搜索与评估。

在与基座模型的对弈中，M⁺ 在处理 28.8M 个监督训练 token 后达到 68.3% 的胜率，而 S⁺⁺ 在 42M token 后达到 64.0%。因此，MASS 模型以少 31% 的监督 token 就能在该参照下取得更高的分数第一轮数据集存储了 17.2M 个监督 token。通过有放回采样并平衡编排器和子智能体的样本，截至所选检查点产生了 28.8M 个已处理监督 token。这衡量了对训练目标的暴露量，包含重复样本。它不包括后续更新、输入 token、验证、数据生成、搜索与评估。

更高质量的轨迹可能促成了这一优势。在另一项分析中，强大的外部评审在与单智能体输出的比较中有 85.1% 更偏好多智能体系统的成果。团队运行平均生成的 token 数约为单智能体的 2.4 倍在十对生成轨迹长度相近的样本中，对团队输出的偏好仍为 80%。该比较匹配的是观测到的长度，而非生成预算。不同组在工作流与验证指令上也存在差异，因此该比较无法单独分离委派效应。这些外部判断仅用于本次分析，不会引导 MASS。。但当我们比较 SFT 期间使用的监督 token 时，会发现多智能体轨迹可以提供比单智能体轨迹更稠密的学习信号。

这些结果表明，在 RSI 中，多智能体系统的轨迹可以比单智能体轨迹更有效，将其价值延伸到了测试时推理之外。

观察 3. RSI 的瓶颈可能是优化器，而非评估器

我们观察到，RSI 中的瓶颈可能是优化器，而非评估器。我们保留基座模型作为任务求解器，仅为评估器，或者同时为评估器和优化器，换上一个更强的外部模型（GPT-5.5）。

Line plot of tasks won against the bare base model versus workflow-search iteration for several configurations. GPT-5.5 as evaluator and optimizer reaches 12 tasks by iteration 5. GPT-5.5 as evaluator only reaches 10 tasks. The all-base-model loop reaches 11 tasks by iteration 13. Variants with different search histories are also shown. — **图 7. 工作流搜索消融实验。** 按搜索迭代次数统计，进化后的工作流击败裸基座模型的任务数。执行器始终为基座模型 \(\mathcal{L}^{(0)}\)。将评估器与优化器均升级为 GPT-5.5（橙色虚线）可在 5 轮迭代内为全部 12 个任务找到获胜工作流。仅升级评估器（绿色）的帮助则小得多。完全同质的循环（蓝色）速度较慢，但仍能达到 12 个任务中的 11 个。

图 7 显示，仅升级评估器帮助有限，而同时升级优化器帮助显著。严格同质的自我改进循环最终的确能在 12 个任务中为 11 个找到获胜工作流；只是耗时更长。我们的解释是，强大的评估器或许能提供高质量反馈，但较弱的优化器不足以消化这些反馈。这表明，在预算有限的情况下，可能必须在 RSI 循环单元中优先优化器，而非评估器。

Win rate against the base model without a workflow across workflow-search iterations. The curves for all configurations fluctuate, with strong iterations followed by sharp regressions. — **图 8. 工作流搜索的稳定性。** 基础模型执行各候选工作流相对于无工作流的同一模型的胜率，按搜索迭代次数展示。颜色与图 7 中的配置对应。强力迭代之后可能出现剧烈的性能回退。

图 8 还表明工作流搜索具有噪声。在文本空间优化中，找到一个好的工作流并稳定地对其进行改进是不同的问题。这表明 LLM 优化器可能需要一种类似学习率调度器的机制来稳定文本空间中的搜索。

结论

在丁尼生的《尤利西斯》中，奥德修斯想象着再次出海，去追求“超越人类思想最远边界”的知识。
对于 AI，我们想象一个奥德赛时刻——当持续学习不得不在没有更强监督者的情况下进行时。
挑战既涉及谁能监督进一步的学习，也涉及如何评判进展。人类专家或许能够陈述一个目标，却难以指定一个完整捕捉该目标的客观函数。

写作就是一个很好的例子：专家写作者能够识别出优秀的写作，却难以将其判断表达为在各种情境下都可靠适用的评分标准。
对于 RSI 而言，研究问题是 AI 如何将不完整的人类引导转化为有用的学习准则，以及如何测试这些准则在能力增长时是否继续捕捉到既定目标。
当被改进的模型同时充当自身的优化器和评估者时，这一点尤其具有挑战性：指导改进的判断本身也必须保持可被纠正。

Wood engraving of a rowboat carrying several men toward a sailing vessel, with a mountainous coastline in the background. — **图 9. 丁尼生*《尤利西斯》*（1857）插图。** 由 Clarkson Stanfield 绘制；W. J. Linton 雕版。George P. Landow 扫描，The Victorian Web。

保持系统的自我评估可被纠正对于安全也至关重要。在一个同质化的循环中，共享的盲点可能使一个有缺陷的结果得以产生、被接受为改进、并被纳入下一版模型。如果人类也难以识别该缺陷，则后续更新可能会强化它。安全方面的担忧在于，同一弱点可能同时损害系统行为和旨在纠正它的机制。

从这个意义上说，共享盲点可能成为递归自我改进的阿喀琉斯之踵。理解它们对于控制一个更有能力的系统至关重要，因为这揭示了在哪些地方最不应依赖系统自身的判断。这种认识可以指导独立检查、对自主行动的限制以及干预条件。仅仅识别一个弱点并不等于建立了控制；我们还必须证明我们能够检测其后果，并在系统变化时进行有效干预。

OpenAI 对思维链可监控性的研究展示了这一挑战的一个方面：推理过程有助于揭示不当行为，但它们提供的只是不完整的证据。最近对可能出现的智能爆炸的分析进一步表明，应尽早研究这些条件。这是 AI 奥德赛时刻的一个核心安全问题：在没有更强监督者可用时，如何保持有意义的监督。⛵