Inception Labs 发布 Mercury 3 扩散语言模型,主打每秒千 token 级速度
Mercury 3: Diffusion at scale
Inception Labs 发布 Mercury 3,称其为目前最强的扩散大语言模型,在多项基准上与 GPT-6 Luna 和 Claude Haiku 5.5 持平或更优,NVIDIA GPU 上单卡推理 1,068 tokens/秒。
原文给出与 GPT-6 Luna、Claude Haiku 5.5 的基准对比、价格和上下文窗口等具体数字,便于评估其在速度敏感场景中的位置。
今天我们推出 Mercury 3,这是迄今为止发布的最强大的基于扩散的 LLM。在一系列基准测试中,Mercury 3 超越了 GPT-6 Luna 和 Claude Haiku 5.5,同时速度提升 4–8 倍,达到每秒 1,000+ token。
Mercury 3 证明了文本扩散可以规模化。它比 Mercury 1 大 40 倍以上,且智能程度大幅提升,但速度同样快。

抢先体验合作伙伴已经在使用 Mercury 3 来实现语音与聊天支持、实时辅导、数据工程和网页导航:
Mercury 3 一览
质量:与 GPT-6 Luna 和 Claude Haiku 5.5 等前沿速度优化模型相当或更优。
速度:在 NVIDIA GPU 上达到每秒 1,068 token。
上下文:1M token,相比 Mercury 2.5 的 260K 有所提升
价格:输入 token 每百万 0.20 美元,输出 token 每百万 0.70 美元。
发布时,Mercury 3 享五折优惠,输入 token 每百万 0.10 美元,输出 token 每百万 0.35 美元。缓存 token 在输入价格基础上再打一折。

规模化扩散
当我们推出 Mercury 1 时,它首次证明了扩散 LLM 可以面向商业应用进行构建。AI 社区当时悬而未决的问题是,扩散 LLM 是否能够扩展到在复杂用例上与自回归模型竞争。
Mercury 3 给出了答案:可以。我们将 Mercury 的总参数量扩展了 40 倍以上,从 Mercury 1(mini)到 Mercury 3,在一系列标准基准上的智能水平提升了 3 倍。推动自回归模型进步的 scaling law 对扩散同样适用。

Mercury 3 在生产环境中
抢先体验合作伙伴已经在使用 Mercury 3 来驱动对延迟敏感的应用,例如浏览器使用代理、交互式教育、实时搜索代理和客户支持。
浏览器使用代理
代理在每一步都会等待模型,因此微小的延迟会迅速累积。无论是浏览网站、跨来源研究,还是分析日志和追踪事件,Mercury 都能让每一轮保持快速。代理完成得更早,并有时间在回答前尝试更多方案。
我们在生产环境中的 Web 代理框架内,使用 Mercury 3 对前沿模型进行了 50 个真实 Mind2Web 导航任务的对比测试。Mercury 3 完成了其中 50%,显著高于 GPT-6.1-Sol。它以与前沿模型相同的 token 量和相同的代理步数完成了任务,但每 token 的成本仅为后者的一小部分。
Shuhao Zhang,TinyFish AI 联合创始人
交互式教育
学习依赖于快速反馈循环,任何延迟都会让学生脱离学习内容。无论是进行对话的语音导师、批改作业的助手,还是根据学生刚答错的内容调整下一题的应用程序,Mercury 都能对每个请求进行推理并近乎实时地作出响应。
Mercury 3 让我们能为每位学生提供即时反馈,而不必牺牲推理能力。提示、批改和定义现在大约一秒内返回,质量与我们之前使用的模型相当甚至更优。当学生卡在某个问题上时,这种速度让他们能继续作答而不是干等,并且它可以直接替换我们现有的技术栈。
Michael Tong,General Learning(即 RevisionDojo)联合创始人/CTO
实时搜索代理
搜索应用只要延迟几秒钟就会感觉反应迟钝。Mercury 3 运行速度足够快,能够处理数十份文档,并在用户仍处于交互状态时给出答案。
在智能眼镜上,回答耗时五秒会让人觉得系统卡顿。在我们的 Sense API 测试中,Octen 搜索耗时约 80 毫秒;瓶颈在于模型生成。在我们测试过的快速模型中,Mercury 3 在速度和质量之间取得了最佳平衡,中位生成时间为 0.9 秒,中位端到端响应时间为 2.2 秒。
Kuan Zou,创始人兼 CEO,Octen AI
客户支持
客服人员必须快速作答,且往往服务于受到监管的企业,一个错误的回答代价高昂。Mercury 在不牺牲准确性的前提下保持了对话的自然流畅。
在 Lorikeet,我们帮助复杂且受到监管的企业构建覆盖语音、聊天和邮件的客户礼宾服务。在聊天和语音场景中,客户需要快速响应,但我们在准确性或任务的正确完成上不能妥协。在早期测试中,Mercury 3 在延迟上击败了其他模型,同时在评测和生产中的表现也更胜一筹。
Michael Gribben,技术团队成员,Lorikeet
实时产品组合
Mercury 3 是在不断扩展的实时 AI 产品系列中的旗舰模型。
Mercury Voice:Mercury Voice 专为语音应用的极低延迟需求而定制,旨在最小化首个回答 token 的时间(TTFAT),而不仅仅是端到端延迟。它已为 Audivi AI、Altur 和 OpenCall 的智能体提供支持。
Mercury Decide:Mercury Decide 是一款面向大规模分类任务的决策模型。它在 JevBench 和 Legalbench 等基准测试中表现优于 Jev。
开始使用
Mercury 3 今日起在 Inception API 平台上提供,也可通过 OpenRouter、Baseten 和 Vercel 获取。它与 OpenAI API 兼容,因此可以直接接入您现有的技术栈,无需重写代码。企业级部署支持专属容量、自动扩缩容、合规控制和可配置的数据保留策略。
Mercury 3 已上线。扩散模型可规模化扩展。
来源:Hacker News · inceptionlabs.ai