跳到正文
今天10月21日周三1 条
  1. AWS Machine Learning Blog29

    Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理

    Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。

10月20日周二