跳到正文
  1. Hugging Face Blog62

    PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。

    推荐理由:原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化,可据此判断 Mac 本地跑模型的实际收益。

  2. Hugging Face Blog71

    Hugging Face 支持 TorchTPU:Transformers 与 Diffusers 原生运行在 TPU 上

    Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。

    推荐理由:原文给出了安装命令、device_map 用法和实测加速数据,读者可据此判断 PyTorch 模型迁移到 TPU 的成本。

  1. Google DeepMind73

    Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,将文本、图像、音频和视频映射到统一嵌入空间,采用 Apache 2.0 许可,参数量 7.4 亿。

    推荐理由:原文给出参数量、量化内存占用和基准提升,读者可据此判断端侧多模态检索的部署门槛。

已经到底了