Google 开源 TorchTPU，让 PyTorch 应用无需重写即可跑在 TPU 上
Google 周二宣布开源 TorchTPU，这是 PyTorch 的 TPU 版本，开发者只需改配置、无需重写应用，就能把现有 PyTorch 应用迁移到 Google 的 TPU 和 Google Cloud。
推荐理由：Google 与 Amazon 先后推出 PyTorch 的 TPU 与 Trainium 适配版本，读者可据此观察非 Nvidia 硬件生态的推进方式。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
7 条精选近 30 天 6 条共收录 48 条
更新
部署工程的精选
TechCrunch · AI精选AI 评分7878
Hugging Face Blog精选AI 评分6262 PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新，新增 torch.float8_e4m3fn 张量与 F.scaled_mm，FP8 张量占用为 BF16 的一半。
推荐理由：原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化，可据此判断 Mac 本地跑模型的实际收益。
Hugging Face Blog精选AI 评分7171 Hugging Face 支持 TorchTPU：Transformers 与 Diffusers 原生运行在 TPU 上
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行，不再需要 torch_xla 或 Optimum TPU。
推荐理由：原文给出了安装命令、device_map 用法和实测加速数据，读者可据此判断 PyTorch 模型迁移到 TPU 的成本。
Hugging Face Blog精选AI 评分6060 Hugging Face 为 AWS Trainium 推出 TorchNeuron 原生后端
Hugging Face 宣布 TorchNeuron 作为 PyTorch 在 AWS Trainium 上的原生后端，将于 2026 年 10 月 20 日进入公开测试，可通过 pip install torch-neuronx 安装。
推荐理由：原文给出 TorchNeuron 在 HF 库中的接入方式与支持比例变化，读者可据此判断 Trainium 上的迁移成本。
Microsoft Research精选AI 评分6666 微软研究院推出基于证明的通用计算系统 Magnetar
微软研究院发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的程序执行过程，并返回可在约 12 毫秒内验证的简短证明。在 15 个基准程序上，它比同机最快的现有 zkVM 平均快 10 到 39 倍，在笔记本上每秒可证明 720 万至 870 万条 RISC-V 指令。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数，不需要椭圆曲线、格假设或可信设置。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取得进展。
Microsoft Research精选AI 评分7676 微软研究院开源 Agent Lightning v1.0：约 3500 行代码的轻量智能体 RL 框架
微软研究院开源 Agent Lightning v1.0，一个约 3500 行代码的轻量智能体强化学习框架，提出 Harnessed Agentic RL 范式，让部署时使用的 agent harness 直接参与训练，无需在训练框架内重新实现智能体。
推荐理由：微软研究院开源轻量智能体 RL 框架，给出真实 harness 训练路径与 SWE-bench 提升数据，可供工程团队参考复现。
Berkeley AI Research精选AI 评分6060 从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
研究团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层，让进化式内核搜索把已有 CUDA 内核当作知识库，在 Apple Silicon 上生成高质量内核。
推荐理由：原文给出从 CUDA 到 MLX 的结构化翻译层与两组内核实测数据，可看跨平台内核经验迁移的具体做法。