Deepgram 将 Nova-3 移植到 Trainium2 并优化推理
热点事件观察中
Deepgram 将 Nova-3 移植到 Trainium2 并优化推理
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Deepgram 与 AWS FDE 团队合作，把 Nova-3 语音转文字模型移植到 AWS Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。 Deepgram 称，在这类以吞吐量为目标的离线批处理负载上，该配置每美元处理的音频量比其原有算力方案高 11%–70%；这一结果按评估时的实例价格计算。 优化手段包括用 TorchNeuron 原生编译 PyTorch、以 NKILib 融合内核替换，以及手写 NKI 内核调优。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 00:23
Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogDeepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。