PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。
推荐理由:原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化,可据此判断 Mac 本地跑模型的实际收益。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。
推荐理由:原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化,可据此判断 Mac 本地跑模型的实际收益。
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。
推荐理由:原文给出了安装命令、device_map 用法和实测加速数据,读者可据此判断 PyTorch 模型迁移到 TPU 的成本。
Google DeepMind 发布 EmbeddingGemma 2,将文本、图像、音频和视频映射到统一嵌入空间,采用 Apache 2.0 许可,参数量 7.4 亿。
推荐理由:原文给出参数量、量化内存占用和基准提升,读者可据此判断端侧多模态检索的部署门槛。