HF Daily Papers·· 6 天前精选AI 评分46
TenetBench 构建条款锚定的俄语职业伦理评测语料，检验 LLM 对具体条款的遵循
TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics
AI 导读
TenetBench 用 15 部俄语职业伦理规范构造 3,433 个冲突请求及对应的良性请求，评测 LLM 是否会违反具体条款。冻结流程的人工验证中，专业人士判定 0.995 的冲突任务可能成立，模型裁判与裁决标签的 Gwet's AC1 至少为 0.894，评测覆盖 1,860 个元素。
推荐理由
TenetBench 将伦理条款映射为成对请求，可用于比较模型违规、拒答与警告行为，以及推理模式带来的差异。
来源：HF Daily Papers · huggingface.co