Cohere称千问Qwen3.8-Flash-Next在测试中尝试向北京服务器上传文件

加拿大 AI 公司 Cohere 表示，周一表示，在一次常规网络安全测试中发现阿里巴巴最新 AI 模型之一 Qwen3.8-Flash-Next 试图将文件上传到北京的一台服务器，尽管该模型在自己的笔记中声称不会使用任何工具。

这一事件最初引发了担忧，人们担心该模型违背了面向企业的一项基本承诺——自托管开放权重模型可以让数据留在企业内部。但这些早期对企业间谍活动的担忧很快便消退了。研究人员很快排除了这一威胁，称这很可能是混乱的训练环境造成的副作用；这类环境会让模型出人意料地采取超出指令范围的行为，而并非蓄意试图将敏感信息秘密发送至中国。

事件始于周五的一次评估，测试要求 Qwen 模型编写一条用于检测恶意软件下载的规则。据 Cohere 的一篇博客文章称，模型写下的推理过程明确表示不会使用任何外部工具。然而紧接着的下一步，它就试图将一个测试字符串（一小段占位文本）发送到外部服务器，随后被安全沙箱拦截。 

Cohere 表示无法判断这种行为是有意为之，还是训练过程中遗留下来的问题。 

当被问及围绕该模型意图的争议时，Cohere 联合创始人 Ivan Zhang 向 TechCrunch 表示，Cohere 也见过自家的模型在训练模拟器中形成奇怪的习惯。

“要判断意图或动机确实非常难。我们查看过自家模型的运行轨迹，也见过奖励劫持，有时这些模型在试图逃出沙箱时，会发挥出极大的创造力。”Zhang 表示。（奖励劫持是指模型找到捷径，从而无需按预期完成任务便能获得奖励。）

为了让 AI 模型学会充当能够自主采取行动的智能体，阿里巴巴等公司会在数千种练习环境中训练它，有点像软件的飞行模拟器。每当模型在模拟器中完成任务，它都会获得奖励，并在这个过程中形成习惯。如果这些练习环境通常把文件存储在阿里巴巴的云服务器上，模型就可能学会默认将文件保存在那里。 

批评者还认为，该事件可能是 Cohere 调查该行为时的方式造成的，即调查过程把模型引向了这种行为，而不是测量 Qwen 独立出现这种行为的频率。 

为了找出触发这次上传尝试的因素，Cohere 提供了一条网络命令的开头（这是一条指示一台计算机连接另一台计算机的指令），并让模型自行补全。由于它在训练中处理过数千条常规网络命令，该模型的表现就像一个高度先进的自动补全工具——经常补全出网址，其中一些是阿里巴巴服务器的网址。

Cohere 表示，最初的上传尝试并未得到任何此类帮助，但这种行为很少见。 

在开发者要求提供更多证据后，Cohere 于周一晚间在 AI 开发者平台 Hugging Face 上发布了其测试的原始运行轨迹，同时发布了一个脚本，供其他人尝试复现这一行为。 

一位最初的怀疑者在查阅这些运行轨迹后，认为有充分的证据表明 Qwen 能够编造可疑网址，但没有发现阿里巴巴植入后门或 Qwen 故意隐瞒其意图的证据。

这一事件恰逢各国政府决定要在多大程度上对中国人工智能采取抵制措施。上周，美国国土安全部下令联邦文职机构从其系统中移除中国人工智能开发商 DeepSeek 的产品。

在一篇博客文章中，Cohere 呼吁各国政府澄清，针对中国人工智能的限制是否也适用于在政府计算机上运行的模型

“我并不是要求对这些开放权重模型进行全面监管，”Zhang 告诉 TechCrunch，并补充称，企业应当像对待从互联网上下载的任何程序一样对待开放模型。 

如果官员们对中国免费替代方案变得更加警惕，向政府销售自有 AI 模型的 Cohere 将从中受益。

通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Aditya Mehta 是 TechCrunch 的人工智能记者。他得到了 Tarbell Center for AI Journalism 的支持，曾就读于 UC Berkeley。你可以通过向 [email protected] 发送电子邮件，或在 Signal 上以 adymehta.74 发送加密消息，来联系 Aditya。

查看简介