跳到正文
原文
Hacker News· irthomasthomas·· 4 小时前精选AI 评分61

Google Research 开源 Harness² 递归式 Agent 框架

Harness2 by Google Research – Recursive Agent Harnessing

AI 导读

Harness² 是 Google Research 开源的递归式 Agent 框架。它通过 Propose / Probe / Compose 步骤在任务级递归中精炼执行配置。

推荐理由

原文给出递归式 agent 框架的双层递归设计及三个职业类基准的具体增益,可作为改进现有 agent 编排的参考方法。

正文 · AI 翻译

Harness²
面向开放世界的递归代理驾驭

Paper Website Benchmark guides License

Install, set up, and run JobBench: uv pip install -e '.[render]', harness2-setup jb, then harness2 --bench jb --k 1 --mode parallel. Click for prerequisites and commands.

A harness 是模型周围的系统,使其能够作为智能体执行操作:提示、工具、记忆、技能、编排等。Harnessing 是优化该系统的过程。

Harness² 是一个用于在开放世界中实现递归代理驾驭的即插即用框架,在这种情况下,智能体会遇到驾驭设计时未见过的任务。它在保持模型权重不变的前提下连接两个递归层级:

  • 任务级递归通过一个对比式的 Propose–Probe–Compose 步骤来优化当前任务的执行驾驭:提出修改,探测它们在同一任务上的效果,并从多次执行之间的行为对比中组合出精炼后的驾驭,无需真实反馈。
  • 驾驭级递归使用已采用的驾驭和来自每个任务的、由证据支持的教训来更新一个持久的 改进驾驭,以指导未来的优化。

Harness² pipeline. Task-level recursion: an agent executor runs the initial harness, a harness editor proposes invariant and domain edits, candidate probes execute them, and a harness composer combines them into the final harness. Harnessing-level recursion: an experience reflector reflects on the step and updates the improvement harness used for the next task.

在三个专业基准和四种模型–驾驭配置上,单步 Harness² 即可让 GLM-5 和 Gemini 3.5 Flash 在其基础驾驭之上获得提升,在 WorkBuddy-Bench 上最多提升 11.5 分,在 JobBench 上提升 4.5 分,在 LAB 的部分通过率上提升 11.8 个百分点。增加任务级递归预算可带来进一步的提升。

该版本支持并行与顺序递归、OpenCode 与 Codex 执行器,以及JobBench、LAB 和 WorkBuddy-Bench。

视频概览

harness2-video.mp4

目录

驾驭组件

Harness² 在模型周围暴露八个可编辑组件:系统提示、护栏、记忆、工具指导、子智能体、技能、脚本和插件。它们控制上下文的构建、工具接口、委派以及工具循环内部的行为。

Eight harness components grouped by runtime role: system prompt, guardrails, memory, and skills construct context; tool guidance and scripts define the tool interface; subagents orchestrate delegated work; plugins control middleware.

安装

使用 Linux、Python 3.12 和 uv。从仓库根目录开始:

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

本地演示以确定性编辑器和真实的 Python 执行运行两种递归模式。它不需要任何模型凭证。

对于由模型驱动的基准,请安装 Node.js 20+ 和 Google Cloud CLI,以及基准依赖项。LAB 需要 Pandoc 和 Poppler;WorkBuddy-Bench 需要 Docker。然后配置您的模型:

cp .env.example .env
# Edit .env with your Vertex AI project and model IDs.
gcloud auth application-default login

请参阅设置指南,了解模型设置、身份验证替代方案以及 Codex 执行器。

运行基准

以下示例会安装 LAB 并运行一个任务,然后评估并报告其结果。由模型驱动的运行会产生 API 成本;建议从小的任务选择开始。

harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel \
  --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

顺序递归使用 --mode sequential 运行相同的命令。--k 是任务级递归预算;请参阅 实验。评判与报告必须使用与优化运行相同的基准、执行器、子集、--k、--mode 和种子。将 --dry-run 添加到 harness2 可在不进行模型调用的情况下预览任务选择。

基准 任务 安装 指南
JobBench 专业工作 harness2-setup jb JobBench
LAB 法律工作 harness2-setup lab LAB
WorkBuddy-Bench 办公、网络与代码 harness2-setup wb WorkBuddy

每个命令选择一个基准。WorkBuddy 在设置后的每个命令上也可以接受 --subset office、--subset web 或 --subset code。基准指南涵盖了每个基准的数据、领域和评分。

实验

通过两种方式扩展任务级递归:并行递归探索多个候选 harness,并基于其执行证据合成改进;顺序递归在连续的 Propose–Probe–Compose 步骤中携带改进后的 harness 和累积的证据。

Two ways to scale task-level recursion. Parallel: probe k general and k domain-specific candidate harnesses, then produce k compositions from the shared evidence. Sequential: carry the refined harness and accumulated evidence through k Propose–Probe–Compose steps.

并行递归探索更广;顺序递归精炼更深。

选项 行为
--k 1 一次 Propose–Probe–Compose 步骤
--k K --mode parallel 探测 K 个通用和 K 个特定领域的候选,然后生成 K 个合成
--k K --mode sequential 通过 K 个连续步骤改进 harness
--substrate cx 使用 Codex 而不是默认的 OpenCode 执行器

在每个任务之后,harness 级别的递归保留已采用的 harness 和由证据支持的教训,以指导未来的改进。有关任务选择、并发性、可复现性和基线比较的信息,请参阅 实验指南。

网络访问

执行器的网络访问不受限制,Codex 在禁用了沙箱的情况下运行。公共基准评分标准可能可以在线访问。在评估之前,请配置 网络限制 以防止访问基准答案和评分标准。

结果和恢复

结果保存在 runs/ 下,按基准和子集(如果适用)组织。它们包括任务摘要、交付物、已采用的 harness、反思笔记和评估结果。

重复相同的命令以恢复。更改模型或任务选择时使用新的 HARNESS2_RUNS_DIR。有关详细信息,请参阅 结果和恢复;每个命令也支持 --help。

引用

@article{xu2026harness2,
  title   = {Harness$^2$: Recursive Agent Harnessing for an Open World},
  author  = {Xu, Ruiyao and Chen, Yanfei and CuiZhu, Zhongying and Dalvi Mishra, Bhavana and Ming, Yifei and Yu, Han and Han, Rujun and Lee, Chen-Yu and Pfister, Tomas},
  journal = {arXiv preprint arXiv:2610.14224},
  year    = {2026},
  url     = {https://arxiv.org/abs/2610.14224}
}

贡献

请参阅 CONTRIBUTING.md。

许可证

Harness² 根据 Apache 2.0 许可证授权。third_party/ 下的第三方代码、基准和数据集保留其上游许可证;请参阅 第三方声明。

免责声明

这不是 Google 官方支持的产品。本项目不符合 Google 开源软件漏洞奖励计划 的资格。

来源:Hacker News · github.com