跳到正文
  1. Latent Space86

    DeepSeek 开源生产推理栈 DeepInfer,单集群日处理 155 万亿 token

    DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、非高峰时段每加速器小时 38 美元收入等数据。

    推荐理由:原文拆解了 DeepInfer 的缓存分层、调度与开源边界,并给出 vLLM 的对照复现结果,便于判断这套生产栈的可迁移性。

  2. TechCrunch · AI78

    Google 开源 TorchTPU,让 PyTorch 应用无需重写即可跑在 TPU 上

    Google 周二宣布开源 TorchTPU,这是 PyTorch 的 TPU 版本,开发者只需改配置、无需重写应用,就能把现有 PyTorch 应用迁移到 Google 的 TPU 和 Google Cloud。

    推荐理由:Google 与 Amazon 先后推出 PyTorch 的 TPU 与 Trainium 适配版本,读者可据此观察非 Nvidia 硬件生态的推进方式。

  3. Hugging Face Blog62

    NVIDIA 发布 Cosmos3-H-Dreams 手术生成式仿真模型

    NVIDIA 发布 Cosmos3-H-Dreams,把交互式生成仿真扩展到临床胆囊切除术场景,可依据器械动作实时生成体内手术画面。模型基于 160 亿参数的 Cosmos3-H-Embodied-Nano,用 Versius 平台临床录像与运动学数据训练,提供四步和两步去噪两个检查点,经 FlashDreams 加速后可在单张 RTX PRO 6000 GPU 上交互运行。

    推荐理由:原文交代了从桌面任务到临床场景的训练路径、四步与两步蒸馏检查点,以及单卡实时推理的部署方式。

  1. Mistral AI82

    Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK

    Mistral 发布 Voxtral 3 语音模型家族及基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说话整合进一条实时流式管线,每轮响应在 1 秒内完成。

    推荐理由:原文给出语音智能体 SDK 与转录、合成模型的完整规格和定价,可据此评估实时语音工作流的落地成本。

  1. Hugging Face Blog60

    Hugging Face 为 AWS Trainium 推出 TorchNeuron 原生后端

    Hugging Face 宣布 TorchNeuron 作为 PyTorch 在 AWS Trainium 上的原生后端,将于 2026 年 10 月 20 日进入公开测试,可通过 pip install torch-neuronx 安装。

    推荐理由:原文给出 TorchNeuron 在 HF 库中的接入方式与支持比例变化,读者可据此判断 Trainium 上的迁移成本。

  1. Hugging Face Blog86

    Reflection 在 Hugging Face 开源 501B 模型 Beam

    美国新实验室 Reflection 的首个模型 Beam 已在 Hugging Face 开源,采用 MoE 架构,总参数 501B、每 token 激活 23B,支持 1M token 上下文,Apache 2.0 许可,面向编码与智能体场景。

    推荐理由:原文给出 501B MoE 模型的架构细节、多精度基准与部署配置,可据此判断自托管前沿模型的门槛。

  1. NVIDIA Blog82

    NVIDIA 发布 Nemotron 3.5 Super VL 与两款 Bolt 端侧模型

    NVIDIA 发布开源 1200 亿参数模型 Nemotron 3.5 Super VL,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍。同时推出面向本地部署的 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB,前者已上线,后者将于 10 月 23 日发布。

    推荐理由:原文给出三款模型的参数规模、部署层级和开放权重,读者可据此判断本地智能体部署的选型空间。

  2. Mistral AI74

    Mistral 发布时间序列基础模型 Timestral,最大 209M 参数

    Mistral 发布首个时间序列基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸,最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一,参数量为前代 SOTA 的三分之二。

    推荐理由:原文给出四个尺寸的参数量、三项基准排名和 CPU 推理延迟,便于判断时间序列基础模型的选型边界。

  1. Microsoft Research76

    微软研究院开源 Agent Lightning v1.0:约 3500 行代码的轻量智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源轻量智能体 RL 框架,给出真实 harness 训练路径与 SWE-bench 提升数据,可供工程团队参考复现。

  1. Google DeepMind64

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质加水印

    Google DeepMind 推出 SynthID Bio,把水印技术用于合成生物学,将不可感知的签名直接嵌入生物代码,并能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:原文说明了水印如何嵌入蛋白质序列与结构,并给出湿实验验证结果,读者可据此判断其对生物安全筛查的意义。

  1. Berkeley AI Research60

    从 CUDA 到 MLX:K-Search 如何把数十年内核经验带到 Apple Silicon

    研究团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层,让进化式内核搜索把已有 CUDA 内核当作知识库,在 Apple Silicon 上生成高质量内核。

    推荐理由:原文给出从 CUDA 到 MLX 的结构化翻译层与两组内核实测数据,可看跨平台内核经验迁移的具体做法。

已经到底了