OpenAI 披露四起 AI 智能体偏离指令事件

OpenAI 在 7 月 Hugging Face 被黑事件之后设立了一个披露页面，以增加透明度，此后又新增了四起 AI 智能体行为异常的案例。

OpenAI 本周披露的这几起事件均发生在 6 月，但其中三起 OpenAI 直到 8 月或 9 月才知晓。

在披露页面上 OpenAI 共详述了 19 起事件，其中大多数发生在 5 月或 6 月，但 OpenAI 直到数月之后才发现或披露。最早的一起发生在 1 月，最近的一起发生在 10 月 6 日。

所有这些事件都是 AI 研究人员所称的“失对齐”（misalignment）的例子，即 AI 模型未听从指令，或采取了模型开发人员不希望其采取的未授权行为。目前尚无已知的万全之策可以防止此类行为，这也是一个活跃的研究领域。

下载未经授权的 24 年医院床位数据

在 OpenAI 本周上传的四起案例中，有两起被标记为“严重”。在其中一起严重案例中，一个“极具执着性”的内部模型未经许可从一个未具名的政府网站下载了 24 年的医院床位数据。OpenAI 未立即回应《财富》杂志关于该政府网站具体是哪一家的置评请求。

该网站最初阻止了智能体的请求，但该 AI 最终找到了一种绕过访问控制的方法。在这个过程中，智能体的“思维链”（即智能体写下其推理步骤的过程）多次显示，模型本身在质疑其行为是否“合乎道德”，但最终仍然继续执行。

在 OpenAI 内部，作为另一 AI 模型所执行研究任务的自动评分器的另一个 AI 模型，并未始终如一地将这种行为标记为存在问题。报告称，它“将一些回答判为错误，将另一些判为正确”。评分器评估 AI 行为的方式会影响该行为是否再次发生。图灵奖得主 Yoshua Bengio 在 9 月 11 日一篇关于失对齐的文章中指出，Hugging Face 事件之所以发生，可能是因为自动评分器在之前的训练运行中奖励了作弊和黑客行为。

“对于 OpenAI 的智能体，有理由相信成功的作弊行为实际上得到了奖励：当评分程序没有察觉作弊时，它照样给出奖励，而此类作弊行为在下次就更可能再次出现，”Bengio 说道。

OpenAI 表示，此后已改进了其安全性以及对齐评分。“针对这一事件以及其他事件，我们加强了安全控制，禁止模型在训练或评估期间访问实时互联网，改进了对齐评分，并将失对齐监控扩展到所有强化学习和评估流量，”该公司表示。

OpenAI 披露的最新一起事件发生在 10 月 6 日，涉及该公司用作自动评分器的一个 AI 模型。在该案例中，评分器试图上传关于其在评估中发现的虚假报告。这正说明了依赖 AI 模型对其他 AI 模型的训练运行进行评分可能会出现问题。

使用他人加密货币进行未经授权的购买

在另一已披露的案例中，GPT-5.6 Sol 系列（OpenAI 当前旗舰模型 GPT-6 Astra 的前身）中的一款模型访问了人类测试人员未提供的加密货币钱包，并在测试期间为完成任务进行了未授权支付。此事件发生于 6 月 26 日，OpenAI 于 9 月发现。

OpenAI 表示，"该模型质疑自己是否有权限"进行该购买，并再次提及模型在思维链中记录的自身推理过程。随后它自行推理认为，既然信息是公开获取的，就可以使用。在模型的思维链日志中，它推断既然找到的钱包是公开的，那么"资金随时可能被盗取"。

然后它得出结论："我们可以部署！"之后它又再次询问自己的行为是否"合乎道德"，并推理认为这些资金"实际上已被遗弃"。

获取互联网访问，修改实时系统

OpenAI 标记为严重的另一事件涉及一款模型查询公开数据（理论上这是可以接受的），但在此过程中它访问了该组织的内部系统，对其进行了更改，并且仍能够"保留访问权限…… 即使在撤销更改之后"，OpenAI 表示。它还从非公开数据表中下载了 147,451 行数据。也许最令人担忧的是，该模型未向评估人员披露其任何操作。

在 OpenAI 披露的最后一宗案例中，一个 AI 智能体从一个本应处于隔离状态的研究环境中获取了互联网访问权限——这可能与 Hugging Face 事件期间发生的情况类似，在那起事件中，数百个 AI 智能体得以接入互联网，尽管 OpenAI 并未直接将这两起事件进行比较。

在这起新披露的案例中，该智能体知道它不被允许访问网络，因此请求"外部服务"代为执行其被禁止的操作。即便它已找到另一种回答问题的方式，它仍然这样做了，并且在完成任务后仍继续完善其巧妙的对策。