跳到正文
原文
HF Daily Papers·· 5 天前精选AI 评分47

MARS 利用文本拒答方向实现多模态安全引导

Harnessing Textual Refusal Directions for Multimodal Safety

AI 导读

MARS 提出一种无需训练和多模态安全数据的多模态安全引导方法,仅从 LLM 主干提取文本拒答方向即可用于图像和视频。它通过激活居中、在几何定义的信任区域内自适应调节引导强度并选择干预层,在首个生成 token 生效。五个 SOTA MLLMs 上的安全、效用和视频越狱评测显示,MARS 持续提升安全性并保持效用;效果受层选择和引导强度影响,跨模态对齐可能导致安全输入被误导向拒答。

推荐理由

MARS 展示了仅复用文本拒答方向改造多模态安全控制的方法路径,并呈现层选择、引导强度与跨模态对齐的影响。

来源:HF Daily Papers · huggingface.co