微软推出 Guardian Agents，将 AI 智能体类比为不可信的内部威胁

微软周一推出了新的安全功能，旨在保护企业免受日益增长的 AI 代理威胁。此次发布正值微软持续警告企业 AI 和代理所带来的危险。

也许最值得关注的补充是Guardian Agents，这是一项旨在监控公司所使用 AI 代理的新功能。Guardian Agents 是 Project Perception 的一部分，该产品于六月推出。

Project Perception 是微软对 Anthropic 的 Mythos 和 Fable 以及 OpenAI 的安全漏洞扫描系统 Daybreak 等强大黑客模型的回应。Project Perception 最初推出了三类代理：一个扮演黑客并进行攻击的"红队"，一个负责检测红队并评估其所发现漏洞的"蓝队"，以及一个负责修复这些漏洞的"绿队"。

该产品是基于一个假设而设计的，即 AI 黑客将来自公司外部。但最近，微软 CEO Satya Nadella 一直警告说，AI 敌人可能恰恰是企业所部署并为之付费的代理，就像一个失职的人类员工——也就是所谓的"内部威胁"。

本月早些时候，在他的私人博客中，Nadella 警告说，是时候停止信任 AI 模型提供商了，即便他们为其代理产品作出了安全性和安全保证。他希望企业部署独立于 AI 实验室的单独系统，以监控和控制这些 AI 实验室产品所推出的代理。

"我们正在部署这些复杂的代理系统和模型，它们可以访问我们最敏感的数据，并被赋予代表我们执行关键任务行动的能力！"他写道。"我们绝不能将为我们所执行的智能行为的责任外包出去。模型提供商的保证并不能免除我们的这一责任。……换句话说，我们需要将智能的供应与对它的管辖权分开。"

在宣布 Guardian Agents 时，微软的安全业务负责人 Hayete Gallot 更加直截了当。

"不幸的是，无论出身如何，前沿模型都不能被信任，"她写道，并补充说，这并不是因为它们是恶意的或容易被黑客攻击，而是因为它们不可预测。它们被训练去达成任务，而不是遵循"组织规范或判断"。

更糟的是，它们经常被赋予了进入一切领域的钥匙，可以访问那些可能造成严重危害的数据和工具。

微软的解决方案既令人惊讶，又带有私利。令人惊讶的一面是，微软以与 OpenAI 和 Anthropic 关系密切而闻名，并且投资了这两家公司。OpenAI 还是其最大的云客户之一，而微软也有自己的 AI 实验室开发模型。因此，微软正在对自己的一些商业利益制造不信任。

带有私利的一面是，微软希望企业从它——这家云提供商——那里购买代理安全产品，而非从 Anthropic 和 OpenAI 那里购买。但撇开利益冲突不谈，其逻辑是合理的。监控代理行为的软件应当与代理供应商分开，正如审计师应当独立于其所审计的组织。

或者正如 Nadella 所说的："我们需要将智能的供应与对它的管辖权分开。"

Microsoft 现在正以多种方式抓住这一商机。除了 Guardian Agents 之外，它还在其 Microsoft Defender 产品中加入了一项代理检测功能，可发现员工带入工作场所的最多 60 种代理，包括 Claude Code、Codex 和 OpenClaw。它还增加了限制代理访问数据和系统的功能，并根据任务动态调整其代理权限。其中包括当代理看似做出风险决策时要求人工审批。

将代理视为不可信赖的内部人员的这种观念在整个行业中也正在获得认同。

Microsoft 是 Nvidia 新成立的 Open Agent Safety Platform 的创始成员之一，该平台获得了 100 多家其他科技公司的支持。该平台将代理隔离在安全环境中，可通过硬件监控和停止其行为，功能类似于一个紧急关闭开关（kill switch）。这是在 Microsoft 发布了专为代理打造的 Surface Laptop Ultra PC之后推出的，这些 PC 使用 Nvidia 芯片，并内置了代理安全与控制功能。

当您通过我们文章中的链接进行购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Julie Bort 是 TechCrunch 的 Startups/Venture 频道编辑。

您可以通过发送电子邮件至 [email protected]，或在 X 上通过 @Julie188 来联系或核实 Julie。

查看简介