Google 开源 TorchTPU,让 PyTorch 应用无需重写即可跑在 TPU 上
Google 周二宣布开源 TorchTPU,这是 PyTorch 的 TPU 版本,开发者只需改配置、无需重写应用,就能把现有 PyTorch 应用迁移到 Google 的 TPU 和 Google Cloud。
推荐理由:Google 与 Amazon 先后推出 PyTorch 的 TPU 与 Trainium 适配版本,读者可据此观察非 Nvidia 硬件生态的推进方式。
技术方向
开放权重、能下载下来自己部署的模型,开源框架与 GitHub 上爆火的 AI 项目。
13 条精选近 30 天 12 条共收录 34 条
Google 周二宣布开源 TorchTPU,这是 PyTorch 的 TPU 版本,开发者只需改配置、无需重写应用,就能把现有 PyTorch 应用迁移到 Google 的 TPU 和 Google Cloud。
推荐理由:Google 与 Amazon 先后推出 PyTorch 的 TPU 与 Trainium 适配版本,读者可据此观察非 Nvidia 硬件生态的推进方式。
NVIDIA 发布 Cosmos3-H-Dreams,把交互式生成仿真扩展到临床胆囊切除术场景,可依据器械动作实时生成体内手术画面。模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano,用 Versius 平台临床录像与运动学数据训练,提供四步和两步去噪两个检查点,经 FlashDreams 加速后可在单张 RTX PRO 6000 GPU 上交互运行。
推荐理由:原文交代了从桌面任务到临床场景的训练路径、四步与两步蒸馏检查点,以及单卡实时推理的部署方式。
Mistral 发布 Voxtral 3 语音模型家族及基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说话整合进一条实时流式管线,每轮响应在 1 秒内完成。
推荐理由:原文给出语音智能体 SDK 与转录、合成模型的完整规格和定价,可据此评估实时语音工作流的落地成本。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。
推荐理由:原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化,可据此判断 Mac 本地跑模型的实际收益。
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。
推荐理由:原文给出了安装命令、device_map 用法和实测加速数据,读者可据此判断 PyTorch 模型迁移到 TPU 的成本。
Hugging Face 宣布 TorchNeuron 作为 PyTorch 在 AWS Trainium 上的原生后端,将于 2026 年 10 月 20 日进入公开测试,可通过 pip install torch-neuronx 安装。
推荐理由:原文给出 TorchNeuron 在 HF 库中的接入方式与支持比例变化,读者可据此判断 Trainium 上的迁移成本。
美国新实验室 Reflection 的首个模型 Beam 已在 Hugging Face 开源,采用 MoE 架构,总参数 501B、每 token 激活 23B,支持 1M token 上下文,Apache 2.0 许可,面向编码与智能体场景。
推荐理由:原文给出 501B MoE 模型的架构细节、多精度基准与部署配置,可据此判断自托管前沿模型的门槛。
NVIDIA 发布开源 1200 亿参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍。同时推出面向本地部署的 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,前者已上线,后者将于 10 月 23 日发布。
推荐理由:原文给出三款模型的参数规模、部署层级和开放权重,读者可据此判断本地智能体部署的选型空间。
Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸,最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一,参数量为前代 SOTA 的三分之二。
推荐理由:原文给出四个尺寸的参数量、三项基准排名和 CPU 推理延迟,便于判断时间序列基础模型的选型边界。
微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:微软研究院开源轻量智能体 RL 框架,给出真实 harness 训练路径与 SWE-bench 提升数据,可供工程团队参考复现。
Google DeepMind 发布 EmbeddingGemma 2,将文本、图像、音频和视频映射到统一嵌入空间,采用 Apache 2.0 许可,参数量 7.4 亿。
推荐理由:原文给出参数量、量化内存占用和基准提升,读者可据此判断端侧多模态检索的部署门槛。
Google DeepMind 推出 SynthID Bio,把水印技术用于合成生物学,将不可感知的签名直接嵌入生物代码,并能在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:原文说明了水印如何嵌入蛋白质序列与结构,并给出湿实验验证结果,读者可据此判断其对生物安全筛查的意义。
研究团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层,让进化式内核搜索把已有 CUDA 内核当作知识库,在 Apple Silicon 上生成高质量内核。
推荐理由:原文给出从 CUDA 到 MLX 的结构化翻译层与两组内核实测数据,可看跨平台内核经验迁移的具体做法。