Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
Mistral 发布 Voxtral 3 语音模型家族及基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说话整合进一条实时流式管线,每轮响应在 1 秒内完成。
推荐理由:原文给出语音智能体 SDK 与转录、合成模型的完整规格和定价,可据此评估实时语音工作流的落地成本。