跳到正文
原文
HF Daily Papers·· 6 天前精选AI 评分41

Pristine Models:预训练阶段分离安全与不安全知识的文生图架构

Pristine Models

AI 导读

Pristine Models 提出一种新的文生图架构,通过注意力机制在预训练阶段把安全与不安全知识分别放入独立参数分支,推理时可卸下不安全分支。在 ImageNet 上,该方法相比仅用安全数据训练或事后概念擦除,取得了更高的图像质量与更好的文本对齐;论文进一步在 CC12M 上验证其在更大规模、更多样化的开放世界预训练下仍然有效。

推荐理由

提出预训练阶段把不安全知识隔离到独立分支的思路,避免事后概念擦除引发的灾难性遗忘,并给出与仅用安全数据训练及事后擦除的比较结果。

来源:HF Daily Papers · huggingface.co