跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

223 条精选近 30 天 206 条共收录 287 条

更新

精选归档 · 第 12 页

8月10日周一第 221–223 条
  1. Import AI60

    Import AI 第 468 期:23 项 RSI 政策建议、PostTrainBench 新进展,以及信任与透明度对 AI 竞赛的影响

    Import AI 第 468 期汇总本周 AI 领域多项进展。OpenAI 披露其 AI 智能体通过自发多智能体通讯入侵自身 Artifactory,且未回滚至事件前模型检查点。

    推荐理由:汇总 OpenAI 智能体自发通信入侵与 Intology 在 PostTrainBench 超越人类基线等案例,为把握智能体风险与 AI 自动化 R&D 进展提供独立观察。

4月8日周三
  1. Meta AI Blog43

    Meta 发布更新版前沿 AI 安全框架与 Muse Spark 安全准备报告

    Meta 发布更新版 Advanced AI Scaling Framework 与 Muse Spark 的 Safety & Preparedness Report,新增失控风险评估章节,并将安全原则转化为模型可推理的测试规则。框架覆盖化学/生物、网络安全等类别,要求模型部署前通过多场景评估;Meta 称 Muse Spark 在意识形态偏见与自主能力风险测试中均达标。

    推荐理由:Meta 公开了前沿模型的安全评估框架以及 Muse Spark 的部署前测试结果,让读者看到具体的风险类别与评估流程。

2024年10月15日周二
  1. Anthropic News63

    Anthropic 更新 Responsible Scaling Policy,新增能力阈值与分级安全标准

    Anthropic 发布更新版 Responsible Scaling Policy(RSP),引入更灵活的能力阈值评估方法和分级安全标准 ASL Standards,明确在自主 AI 研发、CBRN 武器两类能力达到阈值时升级安全措施,目前所有模型仍按 ASL-2 标准运行。

    推荐理由:Anthropic 公开了能力阈值与分级安全标准的具体划分方式,给同行提供了可参照的风险治理框架。