Mistral 发布 Voxtral 3 语音模型与语音智能体 SDK

思考

概述

Voxtral 3 推出前沿的语音智能体 SDK 和最先进的语音模型，旨在支持 50+ 种语言的实时多步骤对话。它结合了准确的转录、具备情感适应能力的自然语音合成，以及深度工具集成，可实现无缝的工作流自动化。该方案可通过 Mistral 欧盟托管的 API 或自行部署提供，确保数据主权，同时为联络中心、虚拟助手和免手动操作的副驾驶带来低延迟、类人的交互体验。

语音转录和语音生成已经取得了长足进步，但构建能够倾听、推理、交互并处理复杂工作流的端到端语音智能体仍然十分困难。 

可靠的语音智能体需要同时把四件事做到非常好： 

1. 准确聆听 不同语言、口音和说话者，并处理插话，

2. 推理 深入 理解用户在具体语境中的含义，

3. 自然表达，并富有情感和表现力，同时 

4. 采取行动，通过互联系统完成多个步骤。 

要让这四项能力在实时环境中可靠协同，仍然是一项挑战。 

为解决这些问题，我们推出 Voxtral 3：这是一系列全新的先进 语音转文本 和 文本转语音 模型，并配套提供语音智能体 SDK，将倾听、思考、调用工具和说话整合到单一实时流式流水线中。

Voxtral 3 旨在打造自然的对话体验，覆盖从联络中心智能体、服务台，到虚拟助手和免手动操作的副驾驶等场景。它支持数十种语言、表现力丰富的语音、复杂推理，以及与您自己的工具和数据的深度集成；使用 Voxtral 构建的智能体能够解读细微意图、对复杂请求进行推理，并在互联系统中执行多步骤操作。

与其他 Mistral 模型一样，Voxtral 3 系列专为数据主权部署而设计。该系列现已可通过 Mistral 的欧盟托管 API 使用，也可在您自己的基础设施上自行部署；它让组织能够控制音频的处理地点、数据的处理方式，以及是否保留对话。

亮点

1. 支持 50+ 种语言的高准确度转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面处于领先地位，能够识别谁说了什么（说话人分离），并利用关键短语提高准确率（上下文偏置）。它可以检测说话者何时结束发言，让智能体及时作出响应（轮次结束检测）。

2. 适应对话的自然语音。文本转语音模型 Voxtral Mini TTS 3 引入可根据对话语境调整情绪、语速和重音的新语音，并支持 35+ 种语言和 50+ 种方言。

3. 只需（口头）下令，即可获得类人智能。全新的语音智能体 SDK 将倾听、推理、调用工具和说话整合为一种实时体验。智能体可以在通过电话或网页进行的实时对话中检索信息、与业务系统交互并完成任务。

4. Pro Voice：精准还原独特声音。对于基础声音克隆不足以满足的专业使用场景，Voxtral 的 Pro Voice 适配功能仅需 30 分钟音频，便能跨语言重现说话者独特的声音特征、情感范围和说话风格。 

5. 你的声音 AI，运行在你自己的基础设施上。使用 Mistral 的欧盟托管 API，或在你自己的基础设施上部署 Voxtral 3。让敏感对话始终处于你的环境内，并自行决定是否保留音频。 

立即试用 Voxtral  | 了解更多

它可识别 50 多种语言，准确率业界领先。

Voxtral Transcribe 3 在转录、说话人分离（谁在何时说话）和上下文偏置能力方面实现了重要里程碑。支持的语言列表扩展至 50 种，包括欧盟的 24 种官方语言，以及许多低资源的亚洲和印度系语言。

Small 版本在说话人分离和多语种转录方面均取得业界领先的结果，包括英语、法语和西班牙语。其表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 变体参数量为 4B，能够以 $0.0035/min 的价格实现快速、准确的转录。

两个模型均支持上下文偏置，可提供关键术语和自由形式文本，以引导转录并提高技术术语的召回率。借助这一功能，无需微调，即可在生产环境中配合领域特定词汇使用这两个模型。

Voxtral Realtime Transcribe 3 是一款专为智能体用例打造的实时转录模型。即使启用说话人分离和上下文偏置，它也能以低于 500ms 的延迟在 35 多种语言中实现高质量转录。

原生支持轮次结束预测，同时结合声学与语义信息，准确预测用户何时结束说话。这可用于低延迟语音智能体应用，并在用户过早被打断时尽量降低误切断率。

它以恰当的情绪作答，采用你本人或你的客户品牌自身的声音和当地方言。

Voxtral Mini TTS 3.0 支持批量和实时处理，在 35+ 种语言和 50+ 种方言中实现业界领先的表现力与指令遵循能力。每 1M 字符 $13，Voxtral Speech 3 的运行成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 等同类模型。

该语音模型能更好地隐式解读上下文语义，从而生成涵盖多种情绪和语言的自然语音。全新及改进的功能包括基于 30+ 分钟采样音频的声音克隆、自定义提示词指令遵循（IF）、上下文 TTS 和词汇库，这些功能均旨在提高语音部署的可靠性。显式 IF 的变量包括 emotion、pacing 和 emphasis。

提示词

让我们就此结束争论：是 GIF。

默认

非标准音素提示：dʒ ɪ f

所有听起来自然的语音都依赖于情绪，情绪决定韵律、节奏、语速、重音和转换。Voxtral TTS 原生会解读提示词的文本上下文，以确定情绪和声音风格，使模型无需额外指令或声音提示，就能天然更善于生成自然语音。

展示 Voxtral 在表现力、数字与人名发音上的逐步提升。

Prompt

感谢您致电 Mistral！我了解到您在登录 AI Studio 时遇到困难。能否确认一下您的邮箱地址？我这里记录的是 elena.vance82@yahoo.com，对吗？

Voxtral 1

Voxtral 3

语音听起来本地化，覆盖 35 种语言和 50 余种方言。

Voxtral TTS 支持超过 35 种语言及地区方言。我们的多语言评测严格遵循方言在发音、正式与非正式语域、拼写、信息详略以及本地习惯（时间、日期、温度、地址、货币）上的差异。

Voxtral 3 多语言音色库

Voice Presets 提供 18 种语言版本：阿拉伯语（阿联酋方言、现代标准阿拉伯语）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）以及越南语。

语音智能体掌控整个对话。

Voxtral 3 推出基于 LiveKit 构建的语音智能体 SDK，将语音输入、推理与语音输出整合为一条流式流水线。Voxtral Mini Transcribe Realtime 3 负责监听并检测来电者何时讲完，一个通用模型——比如 Mistral Small——负责推理并调用工具，Voxtral Speech 3 则沿用当前对话的语气进行回复。每一环节都不必等待前一环节，因此每轮响应不到一秒即可完成，并且当来电者插话时，智能体会立即停止说话。

通话过程中，智能体可使用函数调用、网页搜索以及对自有系统的检索来核验来电者身份、查询账单或预约时间。它支持通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器及应用内运行，并能接入你已在使用的电话、IVR 和联络中心软件。

每一环节都是一个独立的模型，因此你可以更换 LLM、音色或语言而无需重写智能体，并可在 Mistral 的欧洲 API 上运行整个技术栈，或部署在你自己的基础设施上。

立即上手。

Voxtral 3 即日起通过 Mistral API 提供，托管于我们的欧洲、美国和全球节点。

你可以在 Studio 体验区试用语音智能体、音频转写、语音生成以及语音克隆。 

如需在本地或私有云中运行整套技术栈，请联系我们的团队。