EmbeddingGemma 2 被改造为端侧语音转写工具，MacBook Air 一小时音频约 13 秒处理完
An hour of audio transcribed in about 13s on MacBook Air
开发者基于 Google EmbeddingGemma 2 多模态嵌入模型构建端侧 STT 工具 Embedding Gemma Transcribe，只额外训练一个小型 reader 把音频片段映射到约 22.9 万词的英文文本空间。
把 EmbeddingGemma 2 的音频向量空间直接解码为英文文本，在 M3 MacBook Air 上跑到约 288 倍实时，展示了非传统 STT 路线的可行性与速度上限。
Google 的 EmbeddingGemma 2 是一个嵌入模型。我们把它变成了语音转文字模型：在基础款 MacBook Air 上，一小时音频约 13 秒即可转写完成，全程在设备本地运行。
下载 Mac 版（免费）
v1.6 · macOS 14+ · Apple Silicon
首次启动时下载模型（715 MB）
嵌入模型能转写语音吗？
EmbeddingGemma 2 是一个多模态嵌入模型：在同一个共享空间中容纳文本、图像、音频和视频。大声说出一个词，它的音频就会落在与对应文字相近的位置。
于是我们尝试直接从那个空间中读出词语。
工作原理
- EmbeddingGemma 2 的音频编码器保持完全不变。
- 一个小型读取器将每一小段音频映射到模型的文本空间中。
- 从约 229,000 个英语单词中选出距离最近的那个，这些片段就组合成了转写文本。
- 一个很小的附加模型负责添加标点和大小写。
只有读取器进行了训练：在 8×H100 上训练不到两小时，使用的是开放许可的英语语音数据。基础模型从未针对语音转文字进行过训练。
速度如何？
| 模型 | 运行平台 | Mac | 速度 |
|---|---|---|---|
| Embedding Gemma Transcribe | 神经网络引擎 | 基础款 M3 MacBook Air，8 GB | 288×1 小时在 12.6 秒内完成 |
| IBM Granite Speech 5.0 TurboCTC | GPU (MLX) | base M3 MacBook Air, 8 GB | ~150×1 hour in 25.7 s |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M4 Pro | 156× |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M5 Pro | 335× |
| Phonon-2, a Parakeet v3 fine-tune (FluidAudio) | Neural Engine | M5 Pro | 480× |
× 实时：每秒处理所对应的音频秒数。第 1–2 行：我们在同一台基础款 M3 MacBook Air 上的测试。第 3–5 行：FluidAudio 发布的基准测试，机型为更大更新的 Mac，且使用不同的音频。仅作大致参考，并非同条件排名。
现状
它目前的词错误率约为 5%，而领先语音模型的词错误率为 2–3%。我们相信经过更好训练的阅读器可以缩小这一差距；这是下一轮迭代的目标。
使用方法
放入一个音频文件，或按住右 Option 键、说话、再松开，即可听写到任意应用中。它运行在 Mac 的 Neural Engine 上；你的音频从不上传离开本机。
来源：Hacker News · eg2.haku.sh