Deepgram将Nova-3移植到AWS Trainium2并优化推理

Deepgram与AWS Forward Deployed Engineering团队合作，将Nova-3语音转文本模型移植到AWS Trainium2，通过内核调优和Rust数据并行运行时对离线批量推理进行优化。AWS机器学习博客称，在离线批量任务上，每美元可处理的音频量较此前方案提升11%到70%。 最终配置为单台Amazon EC2 trn2.3xlarge实例运行八个模型副本。该文称，上述成本数据按评测时点的实例价格测算；同一篇文章称，这些优化效果可延伸至在Amazon SageMaker AI上自有VPC中自托管Deepgram模型的客户。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。