Meta 发布 Muse Wonder 与 Muse Wonder Full,主打个人与专业智能体
Muse Wonder
Meta 发布 Muse Wonder 与 Muse Wonder Full 系列模型,定位个人与专业智能体方向。模型引入 Active Memory 与 Active Focus 机制,在 Harvey LAB、FocusBench、SWE-Marathon 等基准上取得 state-of-the-art 结果,依托 gigawatt 级 Prometheus 数据中心训练。
原文给出 Active Memory 与 Active Focus 的能力定义和基准结果,读者可据此对照现有智能体模型的能力侧重。
研究人员介绍 Muse Wonder 并讨论其能力。播放位置0:00 of 0:00
一个在个人和专业代理任务上领先的前沿模型
今天,我们很高兴推出 Muse Wonder 系列,包含 Muse Wonder 和 Muse Wonder Full——我们最有能力的模型,在个人和专业代理任务上提供最先进的表现。它们标志着我们扩展阶梯的下一大步,也是迈向个人超级智能的重大飞跃。Muse Wonder 融合了Active Memory和Active Focus,能够跟踪对你重要的信息,并努力完成你想要实现的目标。
Muse Wonder 即日起通过Meta Model API和Muse Code提供,Muse Wonder Full 即日起向 Muse Code 订阅用户开放。
Muse Wonder 即将为Muse中的体验提供支持,并将首先向订阅用户推出。Muse Wonder 还将支持需要更高智能的工件生成和流程。未来,我们将利用 Muse Wonder 开发专用模型,让每一位 Muse 用户都能使用。
迈向个人超级智能的扩展之路
十四个月前,我们开始对我们的人工智能工作进行全面重塑。在这段时间里,我们从从零开始重建技术栈,到推动前沿发展,一路走来。
当我们推出Muse Spark时,我们阐述了可预测、严谨扩展的方法。今天的发布建立在预训练和强化学习的工作基础之上,带来了我们迄今最有能力的模型。Muse Wonder 和 Muse Wonder Full 在我们吉瓦级 Prometheus 数据中心训练完成,凝聚了 Meta 跨团队的成果,为工作和日常生活中的复杂任务提供前沿能力——这是将个人超级智能带给数十亿产品用户的又一步。
前沿能力
模型亮点
Muse Wonder 系列在个人和专业代理、记忆以及编码等关键基准上取得了最先进的结果。
下方的完整结果在广泛的评估套件中比较了 Muse Wonder 和 Muse Wonder Full 与其他前沿模型的表现。
有关我们评估的更多详情,请参阅我们的报告。
上述结果提供了模型表现的宏观视角。现在我们将深入了解它们在现实任务中至关重要的四个领域:领域专业知识、Active Memory、Active Focus 和前沿编码。
领域专业知识
Muse Wonder 和 Muse Wonder Full 将专业知识应用于人们在工作和日常生活中遇到的问题,从理解租约到理解金融或健康信息。我们的评估包括法律、金融和健康领域的任务,以测试这种能力。例如,Harvey 的法律代理基准(LAB)要求模型处理源文档并遵循详细指令以生成法律工作成果。
Active Memory
迈向有用的个人和专业代理最关键的步骤之一是可靠的记忆。模型需要记住重要信息,并识别何时先前信息变得相关。我们称之为Active Memory:在跨对话中保留关于你的重要上下文,并主动检索与当前任务相关的细节。
Active Focus
利用这些背景信息完成任务同样需要持续的努力。主动专注描述了 Muse Wonder 如何持续朝着具有挑战性的目标努力:尝试不同的方法、克服障碍并适应新信息。在此过程中,它会在需要时寻求澄清,并在采取重要行动前进行确认。我们通过 FocusBench 来评估专注能力,并通过 SWE-Marathon 来评估持续执行能力,后者测试在长期运行的软件项目上的工作表现。
前沿编码
编码将这些能力整合在一起。构建软件需要跟踪需求、跨代码库进行更改,并经历反复的测试与修订周期。Muse Wonder 和 Muse Wonder Full 提供前沿编码性能,支持从小型应用到复杂软件的项目。我们针对多样化、长期运行的任务对两个模型进行了训练,以帮助它们在整个过程中保持进展。
正在加载演示
Muse Wonder 根据可自定义的图像输入构建一款可玩的 3D 厨房游戏。
可泛化的能力
两个模型往往在基准测试中得分相近,但其中一个似乎能处理更广泛的未知任务。这正是对"刷榜"的批评和对"大模型直觉"的赞扬所指向的:一种在少数领域流行的基准测试无法完全捕捉到的广泛能力。
为了量化这种不匹配,我们研究了当我们扩展测试时计算时,后训练期间针对的任务上的性能与未知任务上的性能之间的关系。下面的图表比较了 Muse Spark 1.3 和 Muse Wonder Full,每个点表示在特定推理强度下的性能。横轴显示模型在代表后训练期间我们重点关注任务的综合得分("分布内")。纵轴显示在我们后训练期间未针对的一组任务上的平均得分("分布外")。
我们的两个模型在扩展测试时计算时,在分布外任务上都以相似的方式改进。但考虑到其分布内性能,Muse Wonder Full 在未知任务上的表现优于 Muse Spark 1.3 趋势所预测的水平。这种向上偏移是因为 Muse Wonder 和 Muse Wonder Full 基于更大、更强的基模型构建:更强的基模型产生的后训练增益能更有效地迁移到未知任务。这种多样性对于个人智能体尤为重要,因为它们需要处理目标、工具和约束的多种组合——而我们无法在训练中预见所有这些。
周六跑步规划智能体演示的屏幕录制。播放位置0:00 / 0:00
Muse Wonder 直接在浏览器和跨应用之间工作,根据个人偏好和情况制定跑步计划(地图数据 © OpenStreetMap 贡献者)。
前沿安全
将个人超级智能带给每个人需要在一致性和安全性方面进行重大投入。个人智能体代表用户采取行动,可能会处理诸如消息、日历和私人文档之类的背景信息。这种级别的访问要求模型对私人信息保持谨慎,并抵御滥用。我们训练了 Muse Wonder 系列模型在这两个维度上保持领先,对对抗性指令具有鲁棒性,并能谨慎处理私人信息。
随着模型能力日益增强,我们的目标是帮助人们安全、负责任地驾驭这些能力。Muse Wonder 提供了我们迄今为止针对 CBRN(化学、生物、放射性与核)以及网络滥用最强的防护措施,同时根据我们的 Meta 超级智能扩展框架,保留对前沿网络能力的防御性访问权限。
Muse Wonder 是我们迄今为止对齐度最高的模型,而对齐是我们构建个人超级智能的核心所在。包含更多安全评估的完整报告将很快发布。
我们希望 Muse Wonder 和 Muse Wonder Full 能让更多人获得追求梦想、构建他们所向往世界的能力。这是迈向人人可用的个人超级智能的重要技术一步,更多进展即将到来。
旁白介绍 Muse Wonder 的同时,人们追求个人与职业目标。播放位置0:00 / 0:00
来源:Hacker News · research.meta.ai