Proof of Human 评测五套机器人检测系统对 AI 智能体的识别率

一年前，我们评测了五款主流的机器人检测系统（Proof of Human、Google reCAPTCHA v3、hCaptcha、Fingerprint Pro 以及 Cloudflare Turnstile），用能够完成一系列预定义任务的自动化浏览器对其进行测试。检测率差异很大，介于 33% 到 87% 之间。结合行为信号与设备级信号的系统整体上优于仅依赖设备信息的系统。

此后，浏览器自动化取得了显著进展。现代 AI 智能体能够通过越来越强大的浏览器环境理解网页、规划动作并与界面交互。因此，我们用一组更广泛的对手段重做了基准测试，包括传统浏览器自动化、隐匿浏览器，以及 AI 驱动的浏览智能体，并测试了一组类似的检测系统：Proof of Human、Google reCAPTCHA v3、hCaptcha、Cloudflare Turnstile 和 Cloudflare Bot Management。测试结果显示检测性能同样存在巨大差异。

在本文中，我们将逐一审视每个系统的表现、其失效之处，以及这些结果对于区分人类与日益强大的 AI 智能体所面临的挑战意味着什么。

方法

我们的任务使用了一份包含五个问题的调查问卷，将选择题与开放式回答相结合。五个对手段（即 AI 智能体）各尝试该问卷 20 次，每个检测系统最多产生 100 次会话。部分检测系统在会话结束前失败或崩溃，因此每个系统可评估的会话数介于 89 到 100 之间。

下表汇总了基准测试中包含的检测系统以及每个系统用于识别自动化活动的信号。

检测系统	描述
Proof of Human	使用机器学习模型，综合行为信号与设备信号（包括打字、鼠标移动、点击和滚动）将会话分类为人类或自动化。
Google reCAPTCHA v3	为每个会话赋予 0 到 1 的评分，表示用户为人类的可能性。它在无可见挑战的情况下运行，并综合考虑浏览器完整性与 Google 端的信誉信号；网站自行决定接受会话的阈值。
hCaptcha	显示一个"我是人类"复选框并评估浏览器的风险概况。根据结果，要么立即验证会话，要么呈现必须完成的图像型挑战。
Cloudflare Turnstile	在后台执行浏览器完整性检查，并在会话通过时颁发验证令牌。它通常无需谜题即可运行，但在信号不明朗时可能要求用户交互。
Cloudflare Bot Management	使用启发式方法和在 Cloudflare 全网流量上训练的机器学习模型对请求进行评估。尽管完整系统的评分从 1（自动化）到 99（人类），Pro 版本的实现返回更宽泛的分类，如 `likely_human`、`likely_automated`、`automated` 或 `verified_bot`。

我们的对手段涵盖了越来越复杂的自动化形式：传统的脚本化浏览器、为隐藏自动化信号而设计的隐匿浏览器，以及能够自主导航网页和完成任务的 AI 智能体。

使用

对抗方案	描述
Chromium	通过 Playwright 和 Chrome DevTools Protocol 自动化的标准 Chromium 浏览器，未采用任何隐蔽性修改。它保留了常见的自动化指标，例如 `navigator.webdriver` 和与 CDP 相关的痕迹，并作为基线“显而易见的机器人”。
CloakBrowser	一款以隐蔽性为重点的 Chromium 分支，在源码层面修改浏览器指纹，包括 GPU、canvas、WebGL、audio、字体、user-agent 和 TLS 信号。我们让它通过住宅代理运行，并启用了其针对鼠标和键盘输入的可选拟人化功能。
Browser Use	一个开源 AI 智能体框架，使用 LLM（我们的设置中为 Claude Opus）和页面视觉信息规划操作，并从云基础设施控制未修改的浏览器。
Perplexity Comet	Perplexity 的 AI 驱动浏览器，使用 LLM 和视觉信息浏览网页并完成任务。
Grok	xAI 的浏览器操作智能体，使用 LLM 和视觉信息浏览并完成 Web 任务。

结果

我们发现，不同系统的检测表现差异显著。汇总所有对抗方案后，Proof of Human 识别出了 99% 的自动化会话，其次是 reCAPTCHA v3，为 69.4%；hCaptcha 为 44.3%，Cloudflare Turnstile 为 42.1%，Cloudflare Bot Management 为 9.1%。

Bot benchmarking results — **图 1：** 机器人基准测试结果。每根柱形条显示给定检测系统识别出的自动化会话百分比，汇总了全部五种对抗方案的数据。

不同对抗方案之间的表现差异很大。最明显的分界出现在脚本化浏览器与 AI 智能体之间。hCaptcha 和 Cloudflare Turnstile 几乎检测出了所有脚本化 Chromium 和 CloakBrowser 会话，却很少检测出 AI 智能体会话。reCAPTCHA v3 则呈现相反模式，识别出了大多数智能体会话，但没有识别出任何来自 CloakBrowser 的会话。Cloudflare Bot Management 几乎未检测出任何对抗方案的会话，而 Proof of Human 总体上检测到了至少 95% 的会话。

Detection rates by detection system and adversary — **图 2：** 每个检测系统与对抗方案组合中被识别为自动化的会话百分比。绿色单元格表示被检测出的对抗方案；红色单元格表示骗过检测系统的对抗方案。

由于大多数检测系统都是黑箱系统，我们无法直接确定是哪些信号造成了各项结果。然而，根据观察到的系统行为以及公开可用的文档，可以推测导致这种检测失败的可能来源有几个：

reCAPTCHA v3 检测出了大多数来自标准 Chromium 和云端智能体的会话，但没有检测出 CloakBrowser。CloakBrowser 是唯一一个同时采用源码层面修改的浏览器指纹和住宅 IP 地址的对抗方案。我们的结果无法确定，究竟是其浏览器指纹、住宅 IP，还是两者组合导致其成功。
hCaptcha 向 Chromium 和 CloakBrowser 都发出了挑战，但二者都无法可靠完成基于图片的任务。相比之下，三个具备视觉能力的智能体——Browser Use、Grok 和 Perplexity Comet——通常能够理解并解答图片网格，因此它们的大多数会话都得以通过。
Cloudflare Turnstile 检测到了两个脚本化浏览器对手：Chromium 和 CloakBrowser 即使等待完整的 30 秒，也未能获得验证令牌。然而，它没有检测出三个 AI 智能体中的任何一个，甚至在这些会话期间都没有发起挑战。
Cloudflare Bot Management 总体上检测到的会话相对较少。这一模式与隐身浏览器和云端智能体在浏览器层面呈现出干净信号的情况一致，不过 Grok 较高的检测率可能反映了 Cloudflare 所使用的基础设施层面信号，例如 IP 或 TLS 信誉。

局限性

一些系统在完成前崩溃或失败，因此各条件下的样本量略有不同。
我们评估的是供我们使用的各产品层级，而非可能包含额外信号或更高级检测能力的企业版。
我们测量了自动化会话的检测率，但未评估人类受访者中的误报率。
一些系统（包括 reCAPTCHA）可能随着观察更多流量并建立网站信誉而得到更好的校准。因此，在长期运行的部署中，检测率可能有所不同。

结论

我们的结果表明，机器人检测正在进入一个新阶段。传统的自动化信号对于脚本化浏览器仍然有效，但面对能够智能呈现真实浏览器环境的 AI 智能体时，其可靠性较低。当具备视觉能力的智能体能够解读并完成交互式挑战时，这类挑战可能只能提供有限的保护。而随着浏览器层面的指标越来越容易被规避，用户在整个会话过程中的行为，对于区分人类活动与自动化操作而言正变得日益重要。

未来的基准测试应测试更大的流量规模、纳入人类参与者以测量误报率，并评估更复杂的任务和新兴智能体。在 Proof of Human，我们将继续追踪这些变化，并在这一不断演变的威胁环境中开发相关方法。要在您自己的应用程序上测试 Proof of Human，请访问 poh.org。