Eric Goldman 在 Reddit AMA 中梳理网络爬取的多重法律风险

周五，我在 r/WebScrapingInsider 子版块做了一场关于网络爬虫法律的 Reddit AMA。您可以查看完整的讨论这里。

我在 AMA 中发布了一段介绍，下面也在这里分享：

__

大家好，感谢参加这场关于网络爬虫的 Reddit AMA！我认为先做几点介绍会很有帮助。

首先，也是最重要的，提醒一下基本原则。本 AMA 中的任何内容都不构成法律建议。我会讨论一些通用的法律原则，但无法对那些原则如何适用于您的具体情况发表意见。此外，我们今天要讨论的许多话题都是有争议的，每个人对法律风险的容忍度也不同。在您做任何决定之前，需要与律师讨论法律如何适用于您的具体情况，以及您愿意承担何种程度的法律风险。

另外，正如 Ian 所提到的，我专注于美国法律。美国以外的规定可能会大不相同！

我的背景介绍：我是一名资深的互联网法律专家。我于 1991 年拥有第一个电子邮件账户，1993 年发表了第一篇互联网法律论文，1994 年开始执业互联网法律，1996 年开始教授一门互联网法律课程——这门课我今天仍在讲授，已经过去 30 年。自 2002 年起，我就是一名全职法学教授。

作为一名在 1990 年代形成其学术身份的互联网法律专家，我仍然以通才的方式看待互联网法律，这在当时是惯例。我不专注于互联网法律的某一个特定领域。相反，我仍然跟踪和关注数十个互联网法律话题。爬虫/侵入动产（trespass to chattels）原则只是我整体兴趣组合中的一个子集。您可以在https://papers.ssrn.com/sol3/cf_dev/AbsByAuth.cfm?per_id=332758查看我的学术著作。我其他一些学术重点还包括用户生成内容（UGC）/Section 230 的责任、在线商标法和表情符号法。我即将出版的书籍项目将探讨互联网的亲社会效益以及法律监管如何危及这些效益。

尽管我倾向于通才视角，但我发现爬虫的法律问题特别有趣。我第一次收到客户关于爬虫的咨询大概是在 1997 年左右。当我在企业法务部门任职时，爬虫是一个常青话题。我在我的互联网法律课程中经常以爬虫为内容出题。例如，今年的期中考试就基于Vox Marketing Group v. Prodigy Promos，556 F. Supp. 3d 1280 (2021)。

* * *

我之所以对这个话题如此着迷，部分原因是：从政策角度来看，我对爬虫怀有复杂的感情。

一方面，我认为财产所有者通常应当有权决定其财产的使用方式。爬虫可能涉及对财产所有者财产的不受欢迎和未经同意的使用，而且其方式可能是有害的。

另一方面，我信奉信息访问权。（我妈妈是一名图书管理员）。只要爬虫能够促成更深入的洞察、更丰富的知识和更强劲的市场，它就是一种社会效益。

此外，互联网之所以成功，部分原因在于其无缝、低摩擦、低交易成本的浏览体验。为保持这种架构，浏览互联网应当是一种无需许可的体验。反爬虫原则有可能将网页浏览变成一种需要许可的体验，在每个站点的边界都设有检查站，需要获得许可才能访问。这些障碍有可能削弱互联网的可浏览性和实用性，从而给我们所有人带来不利。

[注：侵入动产理论只是服务方对网页浏览施加许可访问的一种方式。版权法是另一种。席卷全球的在线年龄认证要求也是又一种。关于我反对年龄认证要求的更多内容，请参见 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5208739 一个显而易见的观点是：如果年龄认证检查点在互联网上无处不在，那将对爬虫产生重大影响，因为大多数内容都将位于年龄认证墙之后。]

我从未完整地写下过我对这些话题的复杂想法，但这篇文章会让你了解我的思路。https://blog.ericgoldman.org/archives/2013/04/rethinking_onli.htm

以下是我向学生讲解爬虫相关政策考量时的框架：

有利的一面：爬虫可以促成具有显著社会效益的服务，例如搜索引擎、比价机器人以及 AI 模型训练。而且，反爬虫措施往往是反竞争的，即意在制造或维持垄断。具体而言，反爬虫策略可能代表着一种获取类似知识产权权利的企图，即便该服务并不符合知识产权保护的条件。你可以在 Register.com v. Verio 案中看到这些动态——在该案中，Register.com 利用合同和侵入动产理论来保护不受版权保护的材料（WHOIS 注册人联系信息），以保持其对那些联系信息的先发优势控制。

不利的一面，爬虫可能看起来像是 DOS 攻击（无论是有意还是无意）。它可以促成大规模复制，包括可能的版权侵权。而且爬虫可能严重侵犯消费者隐私。

那么，从政策角度看，爬虫是好还是坏事呢？¿Por qué no los dos?：或者用法律术语来说，就是"看情况"。

* * *

至于爬虫的法律，那是一团糟，尤其是侵入动产理论（我将其简称为"TTC"）。大约二十年间，我都在讲授 Intel v. Hamidi 和 Register.com v. Verio 这两个案件。大约在 2024 年，我觉得这些案件已不再反映当前的法律现状，于是遗憾地将它们从我的《互联网法案例集》中删除。[关于该案例集的更多信息，请参见 https://blog.ericgoldman.org/archives/2026/07/announcing-the-2026-edition-of-my-internet-law-casebook.htm] 我尚未找到合适的替代案例加入案例集，因此我对该主题的案例集覆盖目前处于搁置状态。我现在讲授 X v. Bright Data 判决（首个准予驳回动议的判决），但它也不是很令人满意。由于没有好的单一案例或案例集来讲授该主题，而且法律是如此不确定，我告诉我的学生这个主题已经变得"无法讲授"。你能想象他们有多喜欢听到这个消息，哈哈。

我教学生通过一个四步流程来确定侵入动产理论是否/如何适用：

第一步：原告是否拥有受影响的动产？通常情况下，该动产是用于运行服务器并将其连接到互联网的服务器或其他物理硬件。动产侵害（trespass to chattels）原则很好地说明了物理空间法律与在虚拟环境中进行的活动之间的相互作用。学生们有时会努力理解有形物品（即"动产"）与无形事物（如数据或在线账户）之间的区别，后者可能受到其他法律原则（版权或其他知识产权）的保护，但在法律上并不属于"动产"。

第二步：被告是否"使用"了该动产？通常，向服务器发送或接收数据包即构成使用。

由 ChatGPT 于 2025 年 12 月创建

第三步：被告的使用是否是"未经授权"的？法律可能会推定服务器所有者在做出连接到开放互联网的选择时默示允许普通的互联网流量。服务器所有者如何能够消除这种默示许可？这是无法讲授的领域之一。对于服务器所有者如何能够与互联网用户构建这种对话，没有明确的答案。服务器所有者可能可以使用的一些工具来消除任何对其动产的默示授权：

• 服务条款（TOS）
• 停止侵权通知函（C&D）
• 诸如注册墙之类的技术访问控制
• 诸如 IP 地址屏蔽之类的技术访问控制
• 诸如 robots exclusion header 之类的信号

但是，这些机制都不能保证一定有效。这是一个教义混乱的领域。我相信我们会花一些时间来讨论这些努力是否以及何时有效。一般来说，对于每个要点，我的疑问多于答案。

第四步：被告未经授权的使用是否造成了法律上可识别的损害？这也是一个无法讲授的方面，因为同样，对于什么样的损害能够成立，我通常疑问多于答案。X v. Bright Data 一案中法院的反复态度很好地说明了这一话题是多么不可预测。

* * *

我为我的学生用以下标语概括了爬虫法："爬虫无处不在，但并不明确合法。"这让我的学生感到困惑。如果它如此普遍，那它必然是明确合法的……对吗？

为了让一次爬虫活动合法，我们必须驾驭所有以下法律原则：

• Trespass to chattels. I tell my students that they should always discuss all three of these doctrines as a troika:
  • 联邦法律，尤其是《计算机欺诈与滥用法》（CFAA）。
  • 州法律，例如州计算机犯罪法。在加利福尼亚州，我们重点关注《加州刑法典》第 502 条。
  • 普通法上的动产侵害，例如 Hamidi 和 Bright Data 案件。
• 著作权法（第 106 条）。我会花一些时间解释为什么普通的网页浏览可能构成版权侵权，因为受版权保护的材料必然会被下载到浏览器的 RAM 中。学生们真的不喜欢这个讨论（笑）。如果网页浏览构成侵权，那么爬虫也构成侵权。除了最初的下载之外，爬虫程序在重新发布部分或全部被抓取材料时可能还会遇到进一步的第 106 条麻烦。
• 著作权法中的《数字千年版权法》（DMCA，第 1201/1202 条）。我在课堂上还没有覆盖这个角度，因为它还过于不发达且混乱，但我相信我们今天会在第 1201 条上花一些时间。作为预告，迄今为止的第 1201 条判例让我感到困惑，我的疑问多于答案。
• 许多服务条款 (TOS) 包含反爬虫条款，但目前尚不清楚这些服务条款是否合规形成。在我的网络法课程中，我们会用整整 2 周时间讨论服务条款的形成。该法律在 2025 年第九巡回法院对 Chabolla 和 Godun 两案的判决中有了很大发展。

爬虫行为还可能涉及其他法律原则，例如商标权和隐私权。

这就是为什么我说爬虫的法律性质并不明确。要使一次爬虫行动合法，它必须经受住上述所有法律原则的检验。如果该行动在任何一项原则下失败，那么它就是非法的，爬虫者可能面临严重后果（在某些情况下包括刑事责任）。要构建一次能够完美穿越如此众多法律原则的爬虫行动，难度是相当大的。

* * *

抱歉做了如此冗长的介绍（不过我要提醒你，我是一名法学教授，所以话多其实也不足为奇吧？）。爬虫法非常复杂且多面，讨论很容易钻牛角尖，或者对话者各说各话。我希望这段介绍能为我后面更详细的评论提供一些有用的结构和背景。

再次感谢参与此次 AMA 问答。提前对所有我回答"视情况而定"、"我不知道"或"这个问题问得好"的时刻表示歉意。在任何情况下，都不要把我的话当作最终定论——如果你正在做任何决定，请咨询你的律师！