AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体 TTFT
AWS 团队介绍 vLLM 中的双向 KV 传输机制，让 decode 节点在后续轮次把已算好的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例、EFA 互联的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#开源生态
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4242 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 和 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的测试显示 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
AWS Machine Learning BlogAI 评分4040 Eon 如何用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查能力
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口，用单一认证网关替代逐工具凭证和本地 MCP 进程，让开发者与自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
The DecoderAI 评分7272 DeepSeek 开源推理引擎 DeepInfer，支撑 V4.1-Flash 快速低成本运行
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型大规模快速出结果的 serving 软件。
Hugging Face BlogAI 评分5858 AnyLanguageModel 1.0 发布：Apple 平台本地模型一年进展
Hugging Face 发布 AnyLanguageModel 1.0，同时推出 swift-huggingface 1.0 和 swift-xet 1.0。
Hugging Face Blog精选AI 评分6262 PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新，新增 torch.float8_e4m3fn 张量与 F.scaled_mm，FP8 张量占用为 BF16 的一半。
推荐理由：原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化，可据此判断 Mac 本地跑模型的实际收益。
Hugging Face Blog精选AI 评分7171 Hugging Face 支持 TorchTPU：Transformers 与 Diffusers 原生运行在 TPU 上
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行，不再需要 torch_xla 或 Optimum TPU。
推荐理由：原文给出了安装命令、device_map 用法和实测加速数据，读者可据此判断 PyTorch 模型迁移到 TPU 的成本。
NVIDIA BlogAI 评分3838 NVIDIA 与 EBU、Adobe 推进媒体智能体安全：主权云、开放模型与视频搜索加速
NVIDIA 与欧洲广播联盟（EBU）扩大主权框架合作，引入主权云厂商、开放模型开发者和系统集成商，明确广播机构部署智能体时对数据、基础设施、模型与安全的控制要求，NVIDIA Nemotron 开放模型可供定制。
Latent SpaceAI 评分6767 AINews 汇总：Meta 发布 Muse Spark Open，Goodfire 提出网络已清晰论
Meta 发布 Muse Spark Open，这是一个 816B 总参数、42B 激活的 MoE 模型，支持 1M token 上下文和文本、图像、视频、音频输入，采用自定义 Muse Model License。
NVIDIA BlogAI 评分3838 NVIDIA 通过开放学习资源、合作与算力扩展欧洲科研界先进技术可及性
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative，为欧洲科研社区提供加速工具、算力、培训与协作支持。NVIDIA 已开放超 250 个模型、250 个数据集和 1400 多个开源项目，并推出免费开源课程平台。欧洲目前有 35 台超算在建，将服务超 300 万名研究人员。
MIT Technology Review · AIAI 评分3838 开放模型利与弊：Anthropic 称 GLM-5.3 构成重大网络攻击风险，开放权重之争何去何从
Anthropic 发布报告称，Z.ai 于 8 月发布、可自由下载修改的 GLM-5.3 构成重大网络攻击风险，再度点燃开放权重模型之争。目前闭源模型能力仍领先，Artificial Analysis LLM 榜单前八名均为闭源，但开源模型仅落后数月。支持者认为开放模型可降低成本、便于学术研究并防止权力集中，反对者则担忧其易被滥用。
Google DeepMind精选AI 评分7373 Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型
Google DeepMind 发布 EmbeddingGemma 2，将文本、图像、音频和视频映射到统一嵌入空间，采用 Apache 2.0 许可，参数量 7.4 亿。
推荐理由：原文给出参数量、量化内存占用和基准提升，读者可据此判断端侧多模态检索的部署门槛。
Mistral AIAI 评分4242 Mistral 在慕尼黑开设德国中心，推进工业 AI 与 Physics AI
Mistral 在慕尼黑开设德国中心，组建专注 Physics AI 与工业 AI 的研究团队，并直接服务企业合作伙伴。Mistral 计划到 2030 年建成 1 吉瓦欧洲算力，其开放权重模型可在客户自有基础设施上运行。慕尼黑团队正与 BMW 合作碰撞仿真、与 Siemens Energy 合作工业 AI 应用，并与慕尼黑工业大学（TUM）共建汽车空气动力学数字孪生研究。
Mistral AIAI 评分5858 Mistral 与 Mozilla 达成合作，Firefox Smart Window 改用 Mistral 模型
Mistral 宣布与 Mozilla 建立合作，Mozilla 的 AI 浏览助手 Firefox Smart Window（beta）改由 Mistral 模型驱动，先在法国和北美上线，英国和德国预计今年晚些时候跟进。
Mistral AIAI 评分3838 Mistral 与 Cloudera 合作，将专用主权智能引入企业数据
Mistral 与 Cloudera 宣布合作，将 Mistral 模型集成进 Cloudera 混合数据平台，企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还能在受控环境内用大量专有数据训练定制模型，数据与由此产生的智能均归企业所有。Cloudera 平台承载 30 exabytes 客户自管数据，双方称此举面向数据、智能、算力和运营均由客户掌控的主权 AI 需求。