跳到正文
  1. Latent Space86

    DeepSeek 开源生产推理栈 DeepInfer,单集群日处理 155 万亿 token

    DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、非高峰时段每加速器小时 38 美元收入等数据。

    推荐理由:原文拆解了 DeepInfer 的缓存分层、调度与开源边界,并给出 vLLM 的对照复现结果,便于判断这套生产栈的可迁移性。

  2. TechCrunch · AI78

    Google 开源 TorchTPU,让 PyTorch 应用无需重写即可跑在 TPU 上

    Google 周二宣布开源 TorchTPU,这是 PyTorch 的 TPU 版本,开发者只需改配置、无需重写应用,就能把现有 PyTorch 应用迁移到 Google 的 TPU 和 Google Cloud。

    推荐理由:Google 与 Amazon 先后推出 PyTorch 的 TPU 与 Trainium 适配版本,读者可据此观察非 Nvidia 硬件生态的推进方式。

  1. Hugging Face Blog62

    PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm,FP8 张量占用为 BF16 的一半。

    推荐理由:原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化,可据此判断 Mac 本地跑模型的实际收益。

  2. Hugging Face Blog71

    Hugging Face 支持 TorchTPU:Transformers 与 Diffusers 原生运行在 TPU 上

    Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。

    推荐理由:原文给出了安装命令、device_map 用法和实测加速数据,读者可据此判断 PyTorch 模型迁移到 TPU 的成本。

  1. Hugging Face Blog60

    Hugging Face 为 AWS Trainium 推出 TorchNeuron 原生后端

    Hugging Face 宣布 TorchNeuron 作为 PyTorch 在 AWS Trainium 上的原生后端,将于 2026 年 10 月 20 日进入公开测试,可通过 pip install torch-neuronx 安装。

    推荐理由:原文给出 TorchNeuron 在 HF 库中的接入方式与支持比例变化,读者可据此判断 Trainium 上的迁移成本。

  1. NVIDIA Blog60

    NVIDIA RTX Spark 笔记本上市,起售价 2399 美元

    NVIDIA RTX Spark 笔记本已上市,搭载 Blackwell RTX GPU 与 Grace CPU,最高 128GB 统一内存和 1 petaflop AI 算力,起售价 2399 美元。

    推荐理由:RTX Spark 笔记本把 Blackwell RTX GPU 与 Grace CPU 装进轻薄 Windows 机型,读者可据此了解本地 AI 的硬件门槛与价格起点。

  1. NVIDIA Blog72

    NVIDIA 发布 RTX Spark 笔记本,面向创作者、玩家与 AI 智能体

    NVIDIA 发布 RTX Spark,定位为面向创作者、游戏玩家和 AI 智能体的 Windows PC,并将在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布体验活动。

    推荐理由:原文汇总了多家媒体对 RTX Spark 本地 AI 与游戏表现的早期评价,并给出全球线下体验活动的时间地点。

  1. Google Research72

    Google 发布 Deep Review 智能体文档评审系统

    Google 公开发布 Deep Review,一个面向复杂文档提供严格反馈与技术验证的智能体系统,最初用于计算机科学论文分析,现已扩展到法律、金融等领域。系统采用文档分段、自适应预算、并行验证与全局综合四阶段流水线,每个用户每周可免费评审两篇文档,也可接入 Gemini API key 获得更高额度。

    推荐理由:Deep Review 把论文评审拆成四阶段智能体流水线,并给出会议试点规模与接入方式,可据此判断自动评审的落地边界。

  1. Twitter OpenAI88

    OpenAI 向所有 ChatGPT 用户推送 GPT-6 与 Intelligent UI

    OpenAI 宣布 GPT-6 和 Intelligent UI 正在向所有 ChatGPT 用户推送。Intelligent UI 提供快速、可交互的回答,让日常问题更直观、复杂话题更易理解,并能在回答中直接给出与任务相关的交互工具。

    推荐理由:OpenAI 同时放出 GPT-6 与 ChatGPT 的 Intelligent UI,读者可据此了解交互式回答的形态变化。

  2. Microsoft Research76

    微软研究院开源 Agent Lightning v1.0:约 3500 行代码的轻量智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源轻量智能体 RL 框架,给出真实 harness 训练路径与 SWE-bench 提升数据,可供工程团队参考复现。

已经到底了