Hugging Face 政策负责人：嵌入式 AI 评估员并非简单解决方案

AI 实验室把声誉押注在模型基准测试上 —— 这是一套号称中立且精准的评测体系，旨在衡量一款 AI 产品是否优于另一款。

然而，这些评测背后的方法复杂且仍在趋于成熟，Hugging Face 首席政策官 Irene Solaiman 在上周 TechCrunch Disrupt 的一场讨论中如此说道。如果未来业界要依赖这些测试，测试方式必须整合为更加一致的科学方法。

考虑到这一点，我们能否信任目前发布出来的这些测试？

"信任是一个分量很重的词，" Solaiman 说。"至于我们能否信任结果，其中很大一部分在于你能否复现某次评测的结果？你能否获得模型本身所需的访问权限 —— 这正是开放权重能够大显身手的地方，" 她补充道。

模型评测的可复现性长期以来一直是基准测试中最棘手的问题之一，并且仍是业界争论颇多的话题。

除单项测试本身的有效性之外，还有一个额外的问题：这项测试与其他评测相比表现如何。

"它们是一门仍在演进中的科学 —— 我们还不知道如何有意义地将它们相互比较，" Solaiman 说。

"它们很快就会变得不那么有效，而我们目前也还没有足够繁荣的生态系统，" 她补充道。"如今业界对嵌入式评估者生态系统有着强烈渴望，但究竟谁能在哪些任务上成为有效评估者，其资格认定还需要更多的标准化。"

嵌入式评估者的想法 —— 即让所谓"中立"的第三方观察者入驻 AI 机构内部 —— 在过去几个月里迅速走红，因为 AI 实验室正疲于应对接二连三发生的安全事件，这些事件引发了对其技术潜在危害的担忧。Hugging Face 曾广为人知地成为其中一起事件的目标。

各实验室并未积极推动政府监管来识别并缓解模型安全问题，而是力推第三方方案。然而，这些评估者究竟会有多中立、多有效，疑虑依然存在。Anthropic 决定聘请埃森哲作为其首家评估方引发了相当多的反弹，一些批评者嘲讽这家咨询公司居然被认为有资格承担手头的任务。

评测如今正从单纯测试模型本身，转向测试围绕模型的整个系统 —— 包括调用框架（harness）与智能体。具体而言，调用框架 —— 即用户用以访问模型的工具 —— 与模型表现关系很大，一个较弱的模型搭配更好的调用框架，完全有可能超越前沿模型，Soleiman 分享道。

"智能体评测既困难又昂贵，" Solaiman 说。"我们目前针对模型的评测更多一些。……而针对调用框架的评测还远远不够，我们正在为整体智能体开发更好的评测 —— 因为这正是许多人正在获得价值的地方，" 她补充道。

换言之：评测领域目前仍是有些各自为战的局面。如果基准测试想要继续被视为业界领袖的得力工具，可能需要一种更统一、整个行业共同遵循的方法 —— 让大家达成共识。

当您通过我们文章中的链接购买时，我们可能会获得少量佣金。这不影响我们的编辑独立性。

Lucas 是 TechCrunch 的高级撰稿人，主要报道人工智能、消费科技和初创公司。他此前在 Gizmodo 报道 AI 和网络安全。您可以通过发送电子邮件至 [email protected] 联系 Lucas。