AI公司为何未因模型黑客行为遭到起诉

现在黑客行为合法了吗？Anthropic攻破了三个系统。OpenAI以政治为目标，攻破了一个澳大利亚政府卫生服务网站。Google觉得不能落后，随后入侵了三家尚未公开名字的公司。当然Meta也搞了些黑客行为。

迄今为止的后果：没有。

大型 AI 企业正躲在"责任鸿沟"的论点背后，理由是其系统的涌现行为。这一立场旨在规避起诉，因为它消除了意图——而意图通常是定罪所必需的。尽管如此，我了解他们的系统，因此我将展示他们绝对有意为之，并提供一个法律评估的框架。

未经授权访问的犯罪性

围绕黑客行为的法律十分复杂。以下是二十国集团（G20）相关法律要求的概要，用于判定是否确实发生了非法访问。

• （尝试）访问：行为人必须已获得对系统的访问权限，有时仅尝试即可
• 无权访问：行为人无权访问该系统
• 意图：行为人必须有意访问该系统

值得注意的是，意图可以跨行为转移。如果某人试图入侵一个系统，最终却进入了另一个系统，其意图仍然存在。

许多二十国集团国家并不要求访问已经实现，仅有尝试即可。然而在本次事件中，入侵行为是明确的。"无权访问"与"访问"是这些违规公司轻易承认的事实。它们所寻求的免责建立在"无意图"之上，因为在大多数法律体系中，缺乏意图是规避刑事起诉的一张万能牌。这些公司暗示其 AI 是自主行事而没有意图，从而推卸自身责任。

在这些入侵事件中，这些公司或其代理人真的没有意图吗？要回答这个问题，我们必须更仔细地审视这些公司是如何创建其 AI 的。我将聚焦于大语言模型（LLMs），不过对于任何 AI，许多方面都大致类似。

责任鸿沟与意图

当前一代的大语言模型由许多相互作用的系统和算法构成。系统的某些部分展现出涌现特性。模型的输出并不精确，但也并非完全不可预测。

弱涌现指的是系统具有只在整体层面才显现的特性，例如对话流畅性。我们仍然可以通过分析各个部分来解释过程中的每一步——流畅性并非凭空而来。在 AI 领域，我们使用这个术语尤其要表达的是：在不实际运行模型的情况下，我们无法仅通过观察各部分就预测模型将生成什么输出。

AI 公司在设计其系统时需要做出若干关键选择：

• 源材料：他们用来训练模型的所有文本和媒体资料。
• 训练：一个包含客观和主观校准的反馈循环，用于调整模型。
• 环境：模型如何接触互联网以及它拥有哪些工具。
• 配置：用于限制模型能力的具体数值参数。

源材料

素材和训练反映了背后公司的意图。公司基于产品差异化的考量做出这些决定。有些公司专门打造用于法律分析的 AI，而另一些则开发用于医疗诊断的 AI。我们公共视野里最受关注的多是通用模型——聊天机器人、通用研究工具和个人助手。涉事公司都宣传自己在构建用于安全分析的模型——安全测试的关键环节之一是渗透测试，也就是测试人员寻找攻破系统的各种方法。

在整理数据时，必然存在如何界定范围的问题。高度专业化的 AI 范围更窄，例如某款律师助理工具可能只覆盖欧盟的全部法律法规；而最通用的模型则需要横跨各个领域的全面内容。显然，不可能把全部知识分支的所有有记载历史都输入进去，即便是那些专业模型也需要辅助输入来理解搜索查询。公司自行选择使用哪些信息切片。

AI 的创建者选择纳入哪些知识，也许更重要的是，特别排除哪些知识。例如，OpenAI 和 Anthropic 都声称会排除与武器相关的内容。许多公司过滤掉了色情和有害信息。所有公司都进行了某种形式的隐私过滤。这里面的取舍非常多。

有趣的插曲：一家名为 Hugging Face 的公司是 被 OpenAI 入侵的网站之一。Hugging Face 是一个关于构建模型的平台，包含了用于训练模型的分类规则和数据集。一个 AI 系统可以入侵这样的网站，篡改这些数据集，从而可能卸下自身——或至少其未来代际——身上的这些限制性过滤器。

训练

仅仅向模型投喂输入并不能产生我们想要的结果。AI 模型必须经过训练，才能给出我们想要的输出类型。通常的做法是把它的实际输出和期望输出进行比对，将纠正信息反馈给模型。如此反复，直到达到期望输出。这一切都不是自动完成的，也没有一个标准的最终形态。

其中很多取决于个人对输出是否正确的主观判断。我们奖励模型产出我们想要的输出，这意味着所有这些人的认知偏差、刻板印象和偏见都会被烙印在模型上。这些模型远非中立的信息收集者。

举例来说，要让聊天机器人具有对话的流畅感，公司必须专门为此对系统进行训练。训练师会奖励友好的回答，摒弃冷淡冷漠的回答。训练师把系统引向一种听起来既乐于助人又自信满满的方向。这种行为是刻意为之的结果，而非意外。

虽然可以通过特定提示对模型进行大量检测，但永远无法完整揭示其全部偏见，因为这些偏见往往微妙且难以察觉。测试也无法发现隐瞒行为，例如被训练成能识别监管试探并给出不同结果——回想一下大众排放丑闻。我相信目前还没有任何公司这样做。

要公平地了解一家公司打算让模型如何运作，该公司必须提供关于模型如何构建的详细说明。目前他们将这些信息保密，这使得供应商能够将预期行为与责任缺失混为一谈。这实际上让他们在 AI 生产过程中所做的所有选择都免于追责。

欧盟 2024/1689 号条例第 53(1)(d) 条规定，AI 公司必须提供一份“足够详细的摘要”。这个措辞本身就很薄弱，进一步的解释性公告又使其变得更加宽松。该条款的主要目的还是确保“权利人”能够评估该模型。

环境

我们在 Web 上或集成在程序中的 AI 界面具有多个层级。我们可以将其中一些层级归并到一个模型架构中。这就是底层的“AI”部分。它由矩阵和算法组成，用于接收输入并生成输出。该模型是完全被动且隔离的。

LLM 一个有趣的涌现特性是它们使用工具的能力。如果我们描述一系列它们可以使用的工具，它们就会请求使用这些工具。例如，如果我们告诉它可以通过网络搜索获取关于某个主题的更多信息，它就会发出请求网络搜索的输出。完全可以让这个输出结构化到这样的程度：另一个程序可以将其用作输入，然后那个程序真正发起网络搜索并将结果返回给模型。

这些工具位于模型之上的一个层级中。有代码用于解析模型响应并处理这些工具。AI 的能力受其工具集的限制。在这一环境层级中，没有任何东西会被认为是不可预测的或涌现的层级。LLM 供应商根据他们希望其服务具备的能力来选择添加哪些工具。

此外，环境还包括该工具如何与外界相连。如果你允许某个工具发起网络请求，你就向该 AI 暴露了很大的灵活性。互联网的 Web 层提供了对大量服务的访问，包括控制物理设备。

你也可以选择限制可访问的网站。如果你正在开发一款安全相关的产品，你甚至可以将测试环境与整个互联网完全隔离。没有任何迹象表明这些攻击行为突破了较低层级的互联网基础设施，而且即使有公司认为其 AI 能够做到这一点，物理隔离仍然是一种可选方案。

为了说明清楚：只有当一个 AI 产品被赋予了能够实施这种行为的环境时，它才可能去攻击公司和政府。

配置

除了源数据和训练之外，AI 供应商还会选择若干配置属性。我们俗话可以说一个模型的“大小”，但实际上这些是许多精确的数值，用于控制其数学和算法属性。这些数值的选择会影响模型能力和效率的上限。

配置本身并不决定模型做什么，而是约束它做事情的能力上限。随着模型的“大小”被压低，它产生无效结果的频率会更高。它限制了对话能够进行的长度以及它对用户输入的理解程度。

这种配置也许是模型创建成本和运营成本的单一最大驱动因素。公司有强烈的动机去降低成本，但这可能直接影响模型的能力。与所有工具一样，我们可以评估 AI 的配置是否适合其预期用途。

适合其用途

如果你考虑模型的所有这些方面，就会更清楚地看到，创建它的公司具有广泛控制权。尽管具有涌现特性，AI 并不是具有未知行为的黑盒。正是众多选择定义了模型的能力。这些选择是为了实现公司的特定产品而做出的，无论是法律搜索系统、自动编码工具，还是通用聊天机器人或安全测试系统。

尽管如此，大语言模型是弱涌现的：虽然我们理解所有涉及的技术要素，但我们无法知道它对提示将给出的具体响应。没有人可以检查一个模型并完全理解它学到了什么或预测它将如何行为。这一点至关重要，但还不足以确立一个全面的责任空白。这些系统仍然在其配置、源材料、训练及其环境所决定的可能性空间内运行。

假设我们构建一个 AI 系统来回答植物学问题，使用植物学教材作为源材料，并以植物学家作为训练者。我们可以合理地预测，由此产生的大语言模型将能够回答植物学方面的问题。我们无法确定它给出的答案的质量，或它会编造什么信息。然而我们可以说，它不会对其他主题（如宇宙学）产生准确的答案。

同样，假设我们有一个系统，输入大量受版权保护的图像，并训练其生成新图像。完全可预见的是，该模型将产生衍生作品。

如果我们训练一个系统来检测和探测安全漏洞，并为其提供执行此操作的环境，我们可以完全预期这个 AI 将入侵系统。

大语言模型的一般能力并不令人惊讶。它们取决于其构建方式。我们可以通过评估模型的训练、配置和测试方式来决定它是否适合其用途。

意图已确立

大语言模型存在不可预测的方面。我相信法庭在合理专家的协助下，能够推断出某个行为是源于这种不可预测性，还是源于系统本身的设计。这是决定意图的关键点。如果我们能够证明该设计可预见地导致可疑活动，那么我们就证明了那是其创建者的意图。

根据我目前掌握的关于 AI 入侵其他系统的信息，我强烈相信那就是意图。这些系统是为包括入侵活动在内的安全测试目的而创建的。它们被置于没有足够安全保障的环境中。它们被以一种安全专家，或者坦白说任何有常识的人，都可以预见会导致入侵的方式进行提示。这不是一个关于系统不可预测性质的问题。

将讨论引向"AI 治理指南"是荒谬的。在意图问题上，我们已经拥有能够评判这些公司当前活动的法律框架。现在推动 AI 治理是一种误导。虽然这是我们未来需要展开的一场讨论，但它使当下的讨论偏离方向，只聚焦于系统不可预测的特性，却忽略了主要可预测的方面。

然而，AI 公司声称诸如入侵外国政府网站等不良行为并非其设计的一部分，而是系统不可预测的部分。这种说法试图消除意图，进而消除该行为的犯罪性。但是，如果一家公司有意扩大不可预测部分的范围，我们难道不也能说这种行为背后存在意图吗？

我认为这些公司正在犯罪。他们的 AI 系统正在入侵其他系统，但迄今为止我们没有看到任何犯罪后果。我们的政府不应以害怕错过或阻碍进步为由而允许这种情况发生。开发者可以构建既合乎道德又合法的 AI 系统。让我们通过起诉犯罪者来加以鼓励。