EmDash 使用 Cloudflare Clef 对插件注册表进行内容审核

官方 EmDash 插件注册表中的每一个插件列表在上架前都会先经过 Cloudflare 的 Clef 决策模型审核。Clef 会审查列表元数据、外链、图标和截图，检测钓鱼、冒充、违规内容、欺诈以及操纵审核系统的企图。

该注册表基于 AT Protocol 构建，因此插件作者可以从自己的账号发布签名版本。EmDash 不控制底层记录，但决定 plugins.emdashcms.com 上展示的内容。自动化审核让作者得以保持这种开放的发布模式，同时避免目录成为滥用行为的敞口。

一个同时处理文本和图像的模型

Clef 是一种决策模型：它不生成文本，而是以类型化概率回答有界问题，供应用代码采取相应操作。它也接受图像输入。这两个特性非常适合注册表，因为插件列表既包含结构化元数据和链接，又包含可视化素材。

当插件发布时，EmDash 标签器会就其文本和链接向 Clef 提出九个问题，涵盖：

露骨的性内容、仇恨或非人化内容，以及血腥暴力；
钓鱼或索要凭据、冒充、欺诈以及垃圾信息；
欺骗性链接、误导性媒体或声明，以及操纵审核的企图。

标签器会就每个图标和截图提出对应的八个问题。链接评估基于其文字和目标地址而非截图，从而避免将垃圾邮件过滤器和链接检查工具的普通截图误判。

Clef 会为每个类别返回一个概率值。0.45 及以上的结果会转交给运营人员审核。该模型不会最终决定封禁插件。

你可以在 GitHub 上查阅 Clef 适配器及其问题的源代码。

为什么选择 Clef

我们用于自动化工具的模型选择始终以评估为依据，并定期评估新模型。之前的审核流程需要两个通用模型就文本达成一致，再加上对图像的额外一轮处理。这速度更慢，也给系统带来更多超时或返回不完整结果的可能。Jev 发布时我们很期待进行评估，但遗憾的是其表现低于我们的基线。不过，Clef 的结果则好得多。我们尤其高兴的是它是一个多模态模型，因此可以用同一个模型处理文本和图像。

"之前我们不得不混用多种模型才能获得可靠的结果，而 Clef 击败了所有这些模型，速度也快得多。"
Matt Kane，EmDash 首席维护者

我们针对该注册表构建的公开回归用例以及一个独立的受保护语料库对 Clef 进行了测试。在对 21 个公开文本用例的三轮重复测试中，Clef 在全部 63 次运行中都做出了预期的通过或送审决定，没有无效输出或重复间的不一致。在这 63 次用例运行中，端到端文本审核的 p95 延迟为 1.64 秒。Clef 还通过了评估时注册表中所有 37 个插件资料和全部 43 张列表图像的测试。

用 Clef 取代此前的模型组合，为整个列表提供了一个多模态模型和一套基于概率的统一接口。这让审核更快、实现更易于审查，同时保留了通往人工审核的失败安全路径。

发布插件

审核机制的调整并不会为插件作者增加新的步骤。使用 EmDash 插件 CLI 生成脚手架并发布，注册中心会在将该版本加入发现列表之前运行各项检查。如果某个插件需要审核，该版本仍保持已签名状态，并可从你的账号访问，同时由 EmDash 团队决定是否将其对外展示。

浏览插件注册中心，阅读发布指南，或加入 EmDash Discord，开启你的插件发布之旅。