HF Daily Papers·· 4 天前精选AI 评分59
Co-Design Bench:面向智能体模型的多模态协作编码评测
Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
AI 导读
Co-Design Bench 以真实用户的多模态应用修改需求构建智能体编码评测,包含 273 项任务和 2,331 条专家验收标准。任务分为 Multimodal Editing(100 项)和 Repository Editing(173 项),并采用无参考答案的 judge-then-refute 协议评估隐藏验收标准。
推荐理由
该基准同时报告验收标准通过率与整项任务完整交付率,呈现局部达标与端到端完成之间的显著差异。
来源:HF Daily Papers · huggingface.co