Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
会议记录工具 Otter.ai 周二宣布从 General Catalyst 的 Customer Value Fund 获得 3.2 亿美元,该基金以不稀释股权的方式提供资金。Otter.ai 表示这笔钱将用于企业业务增长、市场推广、国际扩张和产品创新。公司称累计用户已达 4000 万,高于去年的 2500 万,去年年度经常性收入突破 1 亿美元,但未公布最新的月活或流失率数据。
Yelp 在餐厅页面推出 Check for Me 功能,用户输入用餐人数和手机号后,AI 智能体会代为致电餐厅查询等位时间,并以短信回传结果。Yelp 同时为 AI 助手接入 OpenTable 以便在应用内直接订位,并支持记住历史对话中的偏好、查看过去 30 天聊天记录和设置自定义提醒。
ElevenLabs 发布两款名为 Eleven Realtime 的语音到语音模型。其中 Max 版本在 Big Bench Audio 基准上得分 98.8%,响应时间为 0.57 秒;ElevenLabs 称目前 Artificial Analysis 榜单上没有模型能同时做到更快且更准确。
Mistral AI 发布 Voxtral 3 系列模型,面向实时语音智能体,包含语音转写模型 Voxtral Small Transcribe 3、文本转语音模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。
Mistral 发布 Voxtral 3 语音模型家族及基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说话整合进一条实时流式管线,每轮响应在 1 秒内完成。
推荐理由:原文给出语音智能体 SDK 与转录、合成模型的完整规格和定价,可据此评估实时语音工作流的落地成本。
新语音。更好的口音。更少的“检查中……” GPT-Live-1.1 为 ChatGPT、Codex 和 dots 中的 Voice 带来这些更新,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语语音。 今日起向所有用户推送。即将登陆 API。