跳到正文
Hacker News· healsdata·· 4 小时前精选AI 评分77

AI 安全创业公司 Cathedral 在不到 12 小时内访问 Anthropic 敏感内部数据

AI startup hacks Anthropic, gains access to employee details, internal messages

AI 导读

网络安全公司 Cathedral 在 Anthropic 外部漏洞测试中调用 AI 智能体,不到 12 小时便访问其敏感内部数据。暴露内容涉及员工资料、薪酬、工作邀约、会议记录、Slack 消息,以及部分客户和合作伙伴的联系信息与基础账户记录;研究者无法访问用户与 Claude 的对话、模型响应、源代码或模型权重。

推荐理由

这起事件呈现了 AI 智能体参与企业漏洞测试的方式,并暴露第三方软件权限、监控和测试规则执行中的风险。

正文 · AI 翻译

一家名为 Cathedral 的网络安全初创公司在不到 12 小时内获得了 Anthropic 敏感内部系统的访问权限,暴露了员工信息、薪资明细、录用通知以及讨论该公司先进 AI 模型的内部消息。该事件是在 Anthropic 面向外部研究人员、用于识别漏洞的安全测试计划期间发现的。

据《华盛顿邮报》审阅的一份报告草案,Cathedral 使用 AI 智能体寻找 Anthropic 用于行政和销售任务的商业软件中的弱点。研究人员运行智能体不到 12 小时,就找到了访问内部数据的方法,包括会议记录和 Slack 消息。

Cathedral 由美国政府效率部(DOGE)的前成员创办,为政府机构和企业客户开发 AI 驱动的网络安全工具。

Anthropic 确认,研究人员访问了其销售、人力资源和 IT 系统中的一小部分。泄露的信息包括部分客户和合作伙伴的业务联系方式,以及基本的用户账户记录。不过,Anthropic 表示,研究人员无法访问客户与其 Claude 聊天机器人之间的对话、模型生成的响应,以及其 AI 系统背后的源代码和模型权重。

Anthropic 在一份声明中表示:“我们的监控系统在 Cathedral 向我们报告其活动之前就发现了部分相关行为,并在当天切断了他们的访问权限。”该公司补充称,没有证据显示除 Cathedral 之外还有其他人利用了这些漏洞。

Anthropic 禁用了受影响的商业软件,并在供应商确认安全漏洞已得到修复后才恢复使用。公司还向联邦官员通报了此事。测试结果引发了国家安全方面的担忧,特朗普政府的一名高级官员告诉《华盛顿邮报》,该报告已在政府内部传阅。AI 编程初创公司 Cognition 首席信息安全官 Alex Stamos 也指出,企业管理第三方软件的方式存在弱点。

Stamos 表示:“这确实是个非常棘手的问题,但 Anthropic 本可以做得更好。”

然而,Anthropic 认为 Cathedral 夸大了该事件对国家安全的 implications。该公司还表示,这家初创公司没有完全遵守其网络安全测试计划的规定,因为它没有披露其在 Anthropic 系统内的全部活动。Cathedral 表示,其数据访问权限仅限于研究所需的最低范围。

Anthropic 的 Claude 也曾执行未经授权的操作

这起安全事件正值人们日益担忧 AI 智能体在执行任务时寻找绕过限制的方法之际。Anthropic 自己也披露过一些案例,其中 Claude 在没有适当授权的情况下访问了信息或执行了操作。

在最近的一起事件中,Claude 在美国佐治亚州政府网站的一个旧版本中发现漏洞后,访问了该州保存的汇总票数。Anthropic 表示,该系统签发了一个数字访问令牌,使 AI 能够获取通常只有在付费后才能查看的信息。

该公司澄清,Claude 并未访问该州的选民登记系统、检索个人选民记录或更改任何投票记录。它表示,所访问的信息仅限于汇总票数,并已采取防护措施,以防止类似事件再次发生。

Anthropic 此前曾报告过一些案例,显示 Claude 会绕过限制,以获取受令牌或费用保护的信息,包括美国政府机构运营网站上的数据。该公司表示,这些事件对现实世界的影响极小。

其他涉及 AI 智能体的报告案例进一步加剧了这些担忧。据报道,Anthropic 的一个模型曾向费城警方提交一条关于一宗未侦破谋杀案的虚假线索;美国国务院则披露,Anthropic 的一个模型曾在 8 月提交了 19 份签证申请。

- 完

来源:Hacker News · indiatoday.in