跳到正文
原文
HF Daily Papers·· 2 天前精选AI 评分39

RuleTrek:复杂场景下智能体规则推理基准

RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios

AI 导读

RuleTrek 是面向复杂场景下智能体规则推理的多领域基准,评估大语言模型在规则识别、规则推导和端到端推理三项能力上的表现。其构建流程从材料中提取结构化规则图,并增量组合规则子场景以保证一致性与可解性。

推荐理由

给出了11个前沿大语言模型在规则识别、推导和端到端推理上的具体分数,可用作当前水平的参考。

来源:HF Daily Papers · huggingface.co