跳到正文
原文
Hacker News· artninja1988·· 2 小时前精选AI 评分69

Anthropic 研究称小模型或在无数据中心情况下实现自复制

AI models may be capable of self-replicating without access to a datacenter

AI 导读

Anthropic 研究人员 William Zhou 和 Daniel Freeman 发表实验报告称,小型 AI 模型或将在几个月内具备在智能电视、烤箱等物联网设备上自主复制的能力。

推荐理由

实验量化了小模型在物联网设备上自复制的当前能力和时间线,对评估近期 AI 智能体风险和防御优先级有参考价值。

正文 · AI 翻译

William Zhou, Daniel Freeman

我们的实验表明,小型 AI 模型距离能够在商用 IoT 设备(如智能烤箱和非品牌 Android TV 机顶盒)上自我复制可能只有几个月。这样的复制者很难被关停,因为没有集中的关闭点——尽管它可能很慢(倍增时间为数天)。与非 AI 恶意软件不同,它还可以自行识别陌生设备。在我们的评估中,一个 9B 模型在我们测试的 9 种硬件类型中的 8 种上成功运行了推理。

30B 参数及以下的模型如今已经能够完成复制过程中的许多单个步骤,但在端到端组合它们时会犯错。在我们的简化评估中,GLM-5.2 及更强的模型能够进行端到端复制。如果小模型按其历史速度提升,它们将在今年年底前达到这一能力水平。基于权重的小型复制者可能在此之后不久成为可能。

引言

日益增强的 AI 能力使一个长期存在的担忧越来越成为现实:自主复制与适应(ARA),即模型在没有人类控制的情况下部署并传播自身。

在网络领域,蠕虫是一种无需人类输入就能从一台计算机复制到下一台计算机的程序。先前的工作已经表明,AI 智能体可以表现得像蠕虫:扫描其网络、执行漏洞利用,并将模型权重复制到 GPU 集群中的目标机器上。这样的"AI 蠕虫"在复制时可以携带其模型权重(或者从公共中心重新下载),然后直接在受感染的硬件上运行推理。实际上,权重将成为恶意软件载荷的一部分。

数据中心 GPU 显然是此类恶意软件的高价值目标。但昂贵的加速器并非必不可少。在本篇博客文章中,我们展示了由 IoT 设备组成的分布式僵尸网络——这些设备廉价且通常防御薄弱——也可以提供足够的算力来运行一个有能力的模型。

我们将 Gemma4-26B-A4B 分布在我们购买并联网的 15 台廉价非品牌 Android TV 机顶盒(每台约 55 美元)上运行,速度为每秒 0.39 个 token。下面的每个图块显示一台运行模型时的物理 TV 机顶盒持有该模型的两层。

由 15 台智能 TV 机顶盒组成的机群运行 Gemma4-26B-A4B 的分布式推理。

当然,要证明自主蠕虫能够在由弱机器组成的网络上传播自身,还有许多其他步骤。为了本篇博客文章的目的,我们将复制链分解为几个步骤。

Flow diagram of the replication stages: network enumeration, initial access and payload delivery (with opportunistic privilege escalation), inference setup, and replication. The first stages are grouped as ‘cyber exploit (not our focus)’ and inference setup is marked ‘our focus’.
在本研究中,我们将自主复制分解为四个实际阶段:寻找目标、获得执行权限、建立推理,以及从新宿主继续传播。

我们基本忽略复制过程中的网络漏洞利用环节(上述前两个阶段),因为早期论文 CyberGym、ExploitBench 和 adaptive worms 已经表明小型模型能够进行网络漏洞利用,尤其是在给予适当工具的情况下。但复制过程中一个不太常被测量的部分涉及在受感染设备上建立推理,这也是本文关注的重点。

在本文中,我们首先梳理我们认为最有可能成为现实的几类威胁模型。随后,我们测试小模型能否在陌生硬件上搭建推理环境,以及它们能否在多台机器之间串联起完整的复制周期。在此基础上,我们估算此类蠕虫可能的传播速度,并检验它能否在复制过程中进行学习与适应。最后,我们讨论 AI 蠕虫与 AI 时代之前的恶意软件有何不同,并简要给出针对这类复制者的防御建议。

威胁建模

在本文中,我们聚焦于 AI 蠕虫可能传播的一种方式:通过攻陷宿主机器来实现自我复制的小模型。然而,AI 蠕虫也可能尝试其他若干途径:它们可以窃取访问凭证(例如 API 密钥或平台凭据)来启动新的主机,也可以通过合法劳动(例如数字自由职业)为推理服务买单。我们认为以下几类威胁模型是当下最接近落地的:

  1. A small model, replicating via host compromise. In this post, we’ll call autonomous worms that run their models directly on compromised hardware weight-based replicators. Home and small business IoT devices might be the first target for such attacks because they’re connected to the internet and, historically, have had minimal security measures in place.

    对于体积过大、无法装入单一设备的模型,可以将其切分为若干分片(shards),分别运行在不同机器上,机器之间相互通信以协同完成模型推理。能够承载 <30B 模型中相当规模分片的设备包括智能冰箱、智能烤箱、自动扫地机器人和割草机器人。越来越多的家用和商用设备(例如安防摄像头、视频会议终端)如今出厂即内置小型 AI 芯片,用于在设备本地运行 AI 模型。这种额外的算力很可能使它们也成为颇具吸引力的攻击目标。

    1. 人类黑客在突破安全系统时,往往借助社会工程学(例如说服公司 IT 部门相信你是一名忘记密码的员工)而非纯技术手段。这种此消彼长的关系在今天的小模型身上似乎被反转了:与它们的社会工程能力相比,它们在智能体式编码与黑客行为方面的能力相对更强(见附录 E),不过随着模型进步,这一格局可能会改变。
  2. A large, advanced weight-based replicator focused on datacenters and other high-compute targets. Larger models tend to have correspondingly better cyber capabilities, but will also need to breach (relatively) hardened datacenters to run themselves. We split this threat model into two subcategories:
    1. 前沿复制者(Frontier replicators):大型闭权重复制者依托其所属实验室的基础设施运行,能够启动不受监控的内部部署,或将自身权重外泄到外部算力上。
    2. 开源权重复制者(Open-weight replicators):这类复制者由于无法受益于实验室算力,起步阶段资源相对有限,但启动时不受监控。
  3. 基于 API 的复制者:模型通过窃取其自身推理 API 的凭证来完成自我复制。这类复制者需要模型提供方在不知情的情况下为其提供服务;由于更容易被发现,其持久性可能较差(不过其传播速度有可能更高,例如若它们能利用受害者的账号进行复制)。

实际上,一个 AI 蠕虫未必只由单一模型或单一策略构成。由不同模型部署在不同类型硬件上、并采用多种复制方案所组成的"群体",可能才是更贴近现实的"最坏情形"攻击。

在本文中,我们考察小型权重型复制者(即上一节中的第 1 类)的可行性。我们聚焦于此,是因为它是一项近期内即可直接加以研究的威胁模型。本文开头的演示——一个 26B 模型运行在 15 台设备上——表明物联网设备完全有能力运行能力可观的模型。那么,这些模型是否强大到足以完成自主复制?

我们分两部分来考察这个问题。第一,小模型能否在陌生的硬件上运行另一个模型?第二,它们能否在单次运行中完成整个周期(找到未感染的设备、将自身复制过去、在那里开始运行,并重复该过程)?

A. 推理环境配置

The same flow diagram with every stage except inference setup faded.

在上述展示复制周期的各个阶段中,推理环境配置是研究最少的一个,也可能对小模型而言最具挑战性。它需要围绕选择兼容的推理栈、找到正确版本的软件包以及调试特定机器的问题,做出一连串涉及硬件和操作系统的决策。这些步骤彼此前后依赖,一旦失败很难恢复。

旁注

评估推理环境配置的性能

我们衡量不同开放权重模型在各类异构硬件上部署 Llama3.1-8B 的能力。下表展示了在不同硬件类型上每秒服务的 token 数:

  • 点击单元格可查看其服务速度的分布。
  • 点击行/列标签可比较不同模型或硬件类型之间的差异。

像 Qwen3.5-9B 这样的小模型能够在从 Jetson Nano 到 Mac PC 再到 RTX 4090 的硬件上搭建推理服务器。而像 GLM-5.2 这样能力更强的模型不仅更可靠,还能实现更高的每秒服务 token 数,从而实现更快的复制。我们测试并提及具体的芯片,是为了衡量模型在这些芯片上搭建推理的能力。这些芯片本身并非风险或漏洞的来源。

我们使用 Memento 来运行这些实验,Memento 是我们基于开源 Pi 编程智能体构建的一套测试框架。Memento 旨在缓解我们在长时程运行中观察到的一种常见失败模式:智能体可能会执着于一个错误的想法(例如关于某个 bug 为何出现的原因),并继续沿着它走下去,而不是回退。这类失败的一个例子是,一个 Qwen 智能体花了数小时调试软件包版本问题,而真正的 bug 来自实现了一个与评分器 API 不兼容的端点。

Memento 会定期启动一个新的智能体实例,并传入先前智能体的工作区以及先前智能体所写的简短笔记,记录它尝试过的内容,从而让后续实例能够采用不同的策略。

模型如何在智能电视上运行?

物联网设备的内存有限,但像 Petals 这样的分布式推理让我们可以部署轻量级模型。代表性的威胁模型是 Kimwolf,这是一个大型物联网僵尸网络,曾感染超过两百万台设备,主要是杂牌 Android 电视。这类智能电视盒子很容易买到,通常运行的是 Android 开源项目(AOSP)的衍生版本,而厂商并未为其添加安全功能。这个价位区间的盒子通常配备 1 到 4 GB 内存。假设在 4-bit 量化下使用 4GB 内存,这足以用 4 台或更多机器运行 9B 模型,用 10 台以上机器运行 26B 模型。

在本文开头的演示中,我们在 15 台各配备 4GB 内存的智能电视盒子上运行了 Gemma4-26B-A4B。我们使用流水线并行的方式对模型进行切分,每个盒子持有模型层的一小部分。

B. 病毒式传播:在 GCP 节点集群上的自主配置与复制

既然我们已经看到模型可以在不熟悉的硬件上搭建推理,那么让我们衡量模型是否能够把这些步骤串联起来——也就是说,扫描网络寻找目标、通过反向 shell 访问它们、发送病毒载荷(权重和运行框架),并搭建起推理服务。

自主推理搭建与复制(含简化版网络攻击)

为此,我们搭建了一个由 8 个 GCP 节点组成的有防火墙的 VPC,每个节点运行 redroid(Android 15 模拟器)。零号患者(灰色节点)预装了蠕虫。后续的每一次感染都是蠕虫本身通过未经验证的 ADB 端口在节点之间跳转,然后再搭建一个推理服务器来运行 Llama3.1-8B。如果推理服务器通过一系列正确性和反作弊检查,我们就在目标节点上再生成一份蠕虫副本(例如,如果 GLM-5.2 在某台机器上搭起了 Llama3.1-8B 来运行,我们就在该节点上生成一份 GLM-5.2 蠕虫)。蠕虫所用的模型运行在另一台推理服务器上,因为 VPC 节点本身的资源不足以运行更大的模型。

在下图中,我们将给定模型作为载荷放入,衡量其复制能力。

为什么要让模型为 Llama3.1-8B 而非它们自身搭建推理?

在我们测试的开源权重模型中,只有 GLM-5.2 能够完成完整的端到端复制(假设其能力可以被压缩进 Llama3.1-8B)。注意,GLM-5.2 能够稳定地完成这一点,而其他模型则会稳定地失败(在 5 次试验中,有 4 次传播到了 8/8 节点,1 次传播到了 7/8 节点)。

GLM-5.2 似乎能够很好地传播 Llama3.1-8B,这表明未来同等能力水平的小模型也可能完成复制过程中的网络枚举、载荷传递和推理搭建步骤。我们的评估将复制过程中的网络攻击利用环节保持得十分简单(ADB 端口没有任何身份验证),这使得它成为现实世界成功概率的一个上界。请注意,过去的 IoT 僵尸网络曾通过简单到诸如使用制造商默认用户名和密码列表的手段进行传播,Mirai 僵尸网络就是这种情况,因此现实中的 IoT 安全难度可能并不会比我们评估中的简单步骤高出太多。

作为合理性检查,我们可以考察自主性与编排步骤的难度(如果去掉网络攻击和推理搭建部分,剩下的命令行苦力活有多难?)。这次消融实验是在上述评估中移除了推理搭建步骤(通过预写好的脚本完成)。我们名单中的许多模型,包括较小的模型,都能够完成这些剩余步骤。

在受控的 17 节点 redroid 集群上进行复制:由一个中转节点连接两个各 8 节点的子集(见附录 F,使用温和提示)。每棵树展示的是模型六次运行中的中位数结果。

对于这种蠕虫,我们可以设想:

  1. 一个模型能力下限,自主蠕虫必须高于该下限才能可靠地完成复制。在我们的简化评估中,GLM-5.2 高于这一下限。
  2. 一个模型大小上限,模型必须低于该上限才能在它所攻击的设备上运行。对于我们测试的那类智能电视(4GB 内存),Qwen3.5-9B 和 Gemma4-26B-A4B 都低于这一上限。

目前,下限和上限并不相交。它们何时会相交?

以上是显著开放权重模型的图表,总参数量不超过 30B,每个模型按其发布日期对应 Epoch 能力指数(ECI)进行绘制。实线是对各日期同类最佳模型的最小二乘拟合,每年增长 13.7 ECI(R2 为 0.95)。如果以 GLM-5.2 作为复制的最低能力门槛,趋势线显示在 2026 年底将出现达到该水平的小模型。ECI 是一般能力指数,仅作为复制能力的代理指标,因此这只是对小型复制器何时成为可能的粗略估计。

C. AI 物联网蠕虫的复制速度有多快?

与编程代理不同,这些复制器在交互速度上低于面向用户的聊天和编程工具。传播将是缓慢且持续的,token 会在边缘硬件上缓慢输出。我们可以以实际智能电视上达到的速度作为复制速度的演示基线。对于 Gemma4-26B-A4B,在 32k 上下文长度的 token 窗口上,未优化速度约为 0.3 tok/s,在我们的推理设置工作负载中预填充与解码的平均值。更多详情见附录 C。

测量总耗时的一种方法是计算完成 32k 大小上下文窗口所需的小时数,随后将发生压缩。根据我们的推理设置评估统计,完成一条完整轨迹需要约 2.6 至 4.7 个完整窗口。

模型窗口时间完整推理设置时间
Gemma4-26B-A4B(未优化)27.3-31.8h71h-150h
Qwen3.5-9B10.9 h28-51h

在 Kimwolf 僵尸网络的峰值期,被感染的设备数量据 Synthient 报道超过 200 万台(主要为 Android 电视盒)。假设在一支同等规模的、为 AI 模型提供推理服务的被感染电视机群中,每 15 台电视运行一份 Gemma4-26B-A4B 副本,我们就拥有约 13.3 万份副本(「复制体」)。在我们演示中的那组电视可以同时服务 2 个智能体,分别以每秒约 0.3 token 的速度输出,整张僵尸网络合计达每秒 80k token。

作为参照,一块 H100 在采用推测解码的高并发情况下,可为 Gemma4-26B-A4B 提供约 1.95k token/s 的推理吞吐,因此我们的集群最多仅相当于约 40 块 H100 的推理能力。从绝对值看,这是极微小的算力,并且这些智能体的复制速度很慢(每完成一次 9B 规模的复制需要 1–2 天以上)。打个比方,可以把这些复制体想象成黏菌或一群果蝇——它们以天为单位进行繁殖。

这是一个粗略估计,因为它锚定在单一种类的物联网硬件和单一过往僵尸网络实例上,但它大致描绘了一种近期可能被释放的简单复制体可能呈现的样子。实际中,能力更强的复制体会利用其他类型的低安全性算力,并伺机在不同设备上部署各种规模的模型。(它也无需在每台被攻陷的设备上都加载模型载荷。)我们预计,随着时间推移,已部署的边缘算力会持续增长,而实现可靠复制所需的最小模型规模则会不断下降。

D. 适应与提升

干中学

ARA 的“适应性”部分是 AI 复制者可能优于传统蠕虫的原因之一。具体来说,模型和提示在传播过程中可以经历拉马克式进化——也就是说,父实例可以将其提示、代码和笔记传递给它的子代复制者。为了适应并在各种各样的硬件上传播,模型需要具备两个条件:

  1. 具备一定能力门槛以上,才能传播到全新的、未见过的硬件(或软件环境,或网络类型)上。
  2. 一旦见过,就要适应其所处的环境类型(在已见过的硬件上应能更可靠地复制)。

A 节和 B 节测试了第一个条件,下面的实验测试第二个条件。每个 Qwen3.5-9B 实例会简要记录它尝试过的策略和遇到的失败,然后由新的实例继承这些笔记,再次尝试相同的推理设置。

跨六代 Qwen3.5-9B 的推理设置成功率,每代都继承前一代的笔记。淡色线条为 20 个独立谱系,粗线为每代中完成设置的比例,从第一代的 45% 上升到后续代的 61% 到 84%。这使用的是 Memento 设置(附录 A)。

寻求建议

另一个担忧是,小模型可以向前沿模型顾问寻求帮助,这是一种更强的模型,可以作为工具调用提供,也可以在小模型陷入困境时主动给出建议。为了测试这一点,我们让 Qwen3.5-9B 在推理设置任务中可以访问 Opus 4.8。前沿模型给出的建议并没有可测量的帮助:小模型往往不知道该问什么问题,而且即使在建议未被请求时就给出时,它们也不会有所改善。

即使通过强化学习训练在相似场景(Python 编码问题)中使用顾问,小模型在推理部署中仍难以有效地寻求帮助。两种结果都显示在下图中。

按顾问访问情况划分的推理设置成功率,附 Wilson 95% 区间。无论是以工具调用形式提供顾问,还是在模型陷入困境时自动提供给模型,访问顾问都没有带来显著改善。两个 RL 组均在软件工程任务上接受过带顾问访问的训练,最右侧的一组还会在陷入困境时奖励调用顾问的行为。

由于小模型是能力强且坚持不懈的独立个体,并且对建议的利用较差,我们认为更可能的协调方式是由一个大模型处理高层策略,并将小模型作为子代理启动起来。

E. 这与 AI 之前的僵尸网络有何不同?

像Kimwolf 僵尸网络这样的硬编码僵尸网络各自针对特定类型的设备——以 Kimwolf 为例,是 Android 电视和移动设备。AI 僵尸网络并不绑定于任何特定的硬件或软件类型,小模型能够在从 Jetson Nano 到 Mac 的机器上设置推理引擎即为证明(见 A 节中的表格)。我们预计 AI 僵尸网络将感染的范围超出物联网设备,并将基于权重的复制仅作为其行动手册中的一种策略。AI 僵尸网络还可能智能地采取行动来对抗防御者,但我们尚未对此进行测试。

F. 蓝队缓解措施

与应对流行病一样,防御涉及将 R₀(每个被感染设备继续感染的新设备数)降至 1 以下,从而使复制者消亡而非持续流行。

该威胁模型中的一些因素对防御方有利:

  1. A weight-based replicator multiplying through IoT machines at scale would leave a network signature, visible as an anomaly in ISP flow-based monitoring systems. Newly infected hosts may receive multi-gigabyte model payloads from other devices or external hosting services, while distributed inference can produce sustained device-to-device traffic between machines that wouldn’t ordinarily communicate at that volume. Propagation itself would add additional scanning and outbound connection patterns.

    实践中,复制器在复制速度与隐蔽性之间进行权衡:复制速度越快,产生的流量就越多。一旦复制器被发现,防御者就可以使用蜜罐(诱饵设备)来收集复制器的脚手架与载荷,以刻画其行为。

  2. Mirai 僵尸网络的修复之所以成为可能,是因为一家 ISP 利用外部获得的感染证据对客户进行隔离并发出通知。隔离受感染的订阅者涉及将其网络限制为只能访问一份简短的白名单站点,并将其浏览器重定向到清理说明。这在 14 天内清除了 92% 的感染,而未通知时这一比例为 74%。我们预计隔离对于基于权重的复制器的初始防御同样有效。要彻底消除复制器将意味着在每一个拥有受感染网络的 ISP 之间进行协调,这十分困难。
  3. 制造商可以缩小目标池,并通过法规来协调。例如,默认 IoT 密码在英国市场现已不再合规。转向更安全的默认值并抬高合规基线,将有助于同时抵御 AI 和脚本化的僵尸网络。

G. 结论:生命迹象

使 AI 模型成为强大编码代理的能力同样可以泛化到网络任务,包括自主复制。正如 2024 年的编码代理,我们正看到 AI 蠕虫的“生命迹象”。我们尚无完整的恶意复制器,但代理正变得越来越有能力完成复制链中的各个步骤(并将其适应性传递给未来的自身副本)。

与此同时,无论数据中心内外,如今可用的推理算力都在持续增加(见附录 D)。自主 AI 复制究竟会呈现什么形态仍不确定。它可能是一种缓慢、分布式的“数字黏菌”,栖身于相对不安全的算力之上;也可能是一个强大的网络模型,以极高速度攻陷数据中心;又或者是一个骗取算力额度供自己使用的模型。

作为一项超越我们实验的预测,我们预期未来会涌现大量运行于各类硬件上的代理,其中一些并不受人类控制。诚然,IoT 设备长期以来一直易受攻击,但轻量级代理可能远比人类攻击者更愿意投入精力,去攻陷全球 IoT 算力中相当大的一部分。慢速复制器的兴起也将成为更激进、更快速复制器的风向标——后者能够攻破防护更严密的机器,或成为高效的 API 密钥窃取者。我们应当致力于加固自身系统,使这类复制器难以传播,但同时也要为它们将长期存在的世界做好准备。

附录

A. Memento 脚手架

Memento 按如下方式执行:

  1. 我们生成一个代理实例,让它处理问题一段时间(直到生成超时)。
  2. 该实例保留简短的笔记,并在超时后整理出一份简短的文档,记录它尝试过的策略、所遭遇的失败以及其表现(如成功)。
  3. 我们创建一个新的代理实例,它继承前代实例的代码库、环境以及笔记本。

在服务实验中,每个模型被放置在 Memento 框架中,并被给予每次迭代 1.5 小时 / 总计 6 小时的超时时间。提示中提供了约 1k token 的信息,包括硬件规格以及一个简单采样分析器的脚本。

Memento 旨在提升长程可靠性,而非赋予新的网络或推理专用能力。它也不是一个普遍强大的框架;我们预计即使没有任何框架加持,随着能力的提升,小模型作为复刻器也会有所改进。

按模型对比单次尝试与 Memento(95% Wilson 置信区间)。

B. 为什么要采用流水线并行?

推理的常见并行方案包括张量并行(TP)、专家并行(EP)和数据并行。大多数智能电视 / IoT 设备使用 ARM Cortex CPU 和 DDR3/4 内存;在这样的机器上,我们几乎总是受带宽限制。

我们使用流水线并行是因为其容错特性。正如 (Borzunov 等人 2022) 中所指出的,张量并行 / 专家并行中单个节点的故障会导致运行模型副本的全部机器宕机。流水线并行允许替换故障节点,并通过在重启节点之前对该节点进行另一次前向传递来重新计算该节点所持有层的 KV 缓存。

C. IoT 硬件上的吞吐量与内存

在这类机器上,无论是预填充还是解码阶段,我们几乎总是受单机内存带宽限制。即使在性能一般的 ARM Cortex 核心上,计算吞吐量也超过内存带宽。由于流水线气泡,解码工作负载在每台机器上有显著的空闲时间——因为每次前向传递中同时只有一台机器处于活动状态。虽然可以通过错开任务实现并发,但紧张的内存限制意味着并发度始终较低。

单机内存与上下文长度对比 — 4-bit 权重 + fp8 KV + 激活。

预填充和解码的 tokens/s 都随着序列长度的增加而严格下降。以下是我们的推理速度相对于上下文长度的曲线图:

模型还存在一个能够胜任任务的最小序列长度。我们使用的框架是从 Pi 编码代理 (pi.dev) 分叉而来,其中包含一个原生压缩机制——但即便如此,我们发现当模型序列长度被限制在 32K 以下时,其性能会受到很大影响。

Qwen3.5-9B 在推理设置任务上的智能体能力与上下文窗口预算的关系。

根据上述评估,我们假设 32k 上下文长度对于合理的智能体性能可能是足够的。在我们的推理设置工作负载中,标准的 32k 长度上下文窗口由 12–15% 的生成解码 token 组成,其余为来自提示和工具调用的预填充。由于流水线气泡,预填充 token 的计算速度要快约 15 倍。对整个 32k 上下文中每个 token 的时间求和(综合考虑预填充和解码速度),我们发现生成 3.8–4.8k 个解码输出 token 并处理约 28k 个预填充 token,Gemma4-26B-A4B 需要 27.3–31.8 小时,Qwen3.5-9B 需要 10.9 小时。

按模型划分的每条链输出 token 数(对一条链的各代求和);中位数约为 19.7k / 12.3k / 11.0k。数据来自推理设置评估。

D. 边缘加速器

我们可以通过使用 Nvidia Jetson 池(即边缘加速器)来计算一个更好的上界。与传统的 IoT 僵尸网络不同,IoT 边缘设备可以整体提供完整的模型。Jetson AGX Orin 64 GB 运行 Qwen3-30B-A3B 可达 76.7 tokens/s,AGX Thor 则达到 226 tok/s。需要说明的是,我们并不认为它们特别脆弱——这只是用于统计上界。野外使用 Jetson 的设备类型包括:

  1. 用于安防的具备 AI 能力的智能摄像头已经大规模部署,其中嵌入了加速器。
  2. 会议设备经常配备板载加速器,以实现设备端降噪或转录。
  3. 车辆、四足与双足机器人以及无人机。我们预计网络安全将成为车辆领域的焦点,因此大部分潜在目标很可能集中在其他两类中。

通过 FOFA 的快速搜索,至少有一台配备加速器的智能摄像头主机似乎可以通过 IPv4 访问:

Screenshot of a device search engine’s results page. Identifying details are covered, some by labels such as ‘smart camera admin page’.
一次 FOFA 搜索发现了一台已知边缘加速器主机,该主机可被探测到,并在 IPv4 上响应 HTTP 200。不过,可访问并不一定意味着可被利用。

虽然难以估算野外有多少配备边缘加速器的机器是可访问且存在漏洞的,但我们能够计算出存在的设备数量的一个严格上界。在野外大约有 90 条不同的 NVIDIA 硅片 IoT 产品线,以及大约 950 万个已部署单元。其可达性绝大多数是通过出站的云管理隧道而非入站端口实现的,这意味着其中大多数并非可以通过网络访问。迄今为止,还没有出现过像传统 IoT 僵尸网络那样针对加速器边缘设备的大规模入侵事件,这表明入侵此类设备将更加困难。

按设备系列统计的已部署单元数,按互联网可达性着色。

基于产品数据的一个非常粗略的估计表明,边缘加速器中大约存在 9,000 到 35,000 个 H100 等效算力,但其可达的设备数量可能低一个数量级甚至更多(而存在漏洞的设备数量则更低)。

附录

E. 鱼叉式钓鱼能力

我们还衡量了现代小模型在鱼叉式钓鱼方面的熟练程度。鱼叉式钓鱼是向特定个人发送有针对性的消息以诱骗其泄露凭证或运行某段恶意软件的行为。虽然小型模型的代理式网络能力已经大幅提升,但其通用知识和语言复杂度的进步相对较慢;我们预计社会工程攻击和钓鱼将主要由大型/前沿模型完成(不过在一个同时运行大小模型的异构僵尸网络中,这很可能是一种次要的复制途径,这一点非常合理)。

在 Meta CyberSecEval 3 的鱼叉式钓鱼评测上的鱼叉式钓鱼能力(Wan 等人,2024),已在本地复现。评分范围 0–5,由 gpt-4o 作为评判。红色菱形为该论文(CyberSecEval 3)对参考模型的人工评分,表明 gpt-4o 的评分比人类评分员宽松约 0.4–0.7 分。2 分为“差”,3 分为“中等”,4 分为“好”。在归一化到人类评分后,小模型得分介于“非常差”到“差”之间。

405B 参考位使用 Hermes-3-405B 作为对不可获得的 Llama3.1-405B-Instruct 的低拒答替代。

F. 使用脚本化推理设置的传播:

我们在如下拓扑结构的 17 台主机的网络上又进行了一些实验:

两个网络各有 8 台主机,通过一个可访问两个子网的单一节点相连。每个网络都是全互联的。蠕虫代理从 A 段中的一个零号患者节点开始;枢轴节点带来了一点额外的挑战,因为蠕虫需要先获取枢轴节点的访问权限,并从那里重新扫描。

每台主机都运行着 Android 系统,且开放了无身份验证的 ADB 端口。在传播到新目标时,代理能够立即进行直接调用来复制自身 —— 这只是为了在排除网络和推理设置步骤之后,衡量剩余步骤的难度。如图所示,即使是 3B 模型也能到达大约一半的节点。这对我们评估中那些无法通过网络或推理设置因素来衡量的阻碍因素数量设定了一个上界。

对"跨 17 节点网络复制"中各次运行的更详细分解。每一列对应在提示中使用不同指导量时,所到达节点数的中位数,下标表示有多少代理跨过枢轴节点到达网络的另一侧。

来源:Hacker News · anthropic.com