PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。
推荐理由:原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化,可据此判断 Mac 本地跑模型的实际收益。
公司与模型
Hugging Face 社区的热门开源模型、数据集、工具与榜单变化。
4 条精选近 30 天 4 条共收录 12 条
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。
推荐理由:原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化,可据此判断 Mac 本地跑模型的实际收益。
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。
推荐理由:原文给出了安装命令、device_map 用法和实测加速数据,读者可据此判断 PyTorch 模型迁移到 TPU 的成本。
Hugging Face 宣布 TorchNeuron 作为 PyTorch 在 AWS Trainium 上的原生后端,将于 2026 年 10 月 20 日进入公开测试,可通过 pip install torch-neuronx 安装。
推荐理由:原文给出 TorchNeuron 在 HF 库中的接入方式与支持比例变化,读者可据此判断 Trainium 上的迁移成本。
美国新实验室 Reflection 的首个模型 Beam 已在 Hugging Face 开源,采用 MoE 架构,总参数 501B、每 token 激活 23B,支持 1M token 上下文,Apache 2.0 许可,面向编码与智能体场景。
推荐理由:原文给出 501B MoE 模型的架构细节、多精度基准与部署配置,可据此判断自托管前沿模型的门槛。