AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体 TTFT
AWS 团队介绍 vLLM 中的双向 KV 传输机制，让 decode 节点在后续轮次把已算好的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例、EFA 互联的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#部署/工程
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4242 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 和 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的测试显示 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
AWS Machine Learning BlogAI 评分2929 Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
AWS Machine Learning BlogAI 评分5252 TwelveLabs Pegasus 1.5 上线 Amazon Bedrock
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线，可将长视频按用户定义的分段条件输出带起止时间的结构化 JSON 元数据。
AWS Machine Learning BlogAI 评分3636 Amazon SageMaker JumpStart 2026 年至今回顾：新增 100+ 模型
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超 100 个模型，覆盖 30 家提供商。
AWS Machine Learning BlogAI 评分3838 新用户可通过全新 AWS 注册体验直接进入 SageMaker Studio
Amazon SageMaker AI 新客户现在可用 Google、GitHub、Apple、Amazon 账号或邮箱在 2–3 步内注册 AWS，并自动在约 20 秒内创建配置好的 SageMaker Studio 环境。
AWS Machine Learning BlogAI 评分3434 用 AtScale 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 AtScale 作为语义层、在 Amazon Redshift 上构建 Customer 360 模型，并通过 MCP 暴露给 AgentCore 托管的 Strands 智能体。
AWS Machine Learning BlogAI 评分3434 用 Strategy Mosaic 与 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 发布教程，演示如何用 Strategy Mosaic 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体，跨 Amazon Redshift 与 Amazon Aurora 建模 C360 域且无需 ETL。
AWS Machine Learning BlogAI 评分3434 用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体，联邦查询 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 三处数据源。
AWS Machine Learning BlogAI 评分4040 Eon 如何用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查能力
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口，用单一认证网关替代逐工具凭证和本地 MCP 进程，让开发者与自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
Latent SpaceAI 评分3434 Tenex 如何为财富 2000 强企业构建 AI 原生 SDLC：Alex Lieberman 与 CJ Hess 访谈
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 介绍公司如何把“按交付成果付费”的模式扩展到工程组织，目前团队已增至 75 人，客户覆盖财富 2000 强与中型企业。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，把采用 Gated Linear Attention 的 Laplace 3B 移植到 AWS Trainium2，保留了 GLA 结构和 Muon 优化器。
Latent SpaceAI 评分5050 SF Compute CEO Evan Conrad 谈可编程数据中心与 GPU 算力交易市场
SF Compute 正把 GPU 算力做成可交易市场，并自建云运营能力实现"物理交割"——买家拿到的是可用算力而非现金结算。CEO Evan Conrad 称公司按不同约束匹配订单，而非等待 GPU 集群标准化，代价是流动性分散在更多变体上。他还认为 NVIDIA 因缺乏独立性无法自建这类交易所，却能从其存在中大幅受益。
The DecoderAI 评分7272 DeepSeek 开源推理引擎 DeepInfer，支撑 V4.1-Flash 快速低成本运行
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型大规模快速出结果的 serving 软件。
TechCrunch · AI精选AI 评分7878 Google 开源 TorchTPU，让 PyTorch 应用无需重写即可跑在 TPU 上
Google 周二宣布开源 TorchTPU，这是 PyTorch 的 TPU 版本，开发者只需改配置、无需重写应用，就能把现有 PyTorch 应用迁移到 Google 的 TPU 和 Google Cloud。
推荐理由：Google 与 Amazon 先后推出 PyTorch 的 TPU 与 Trainium 适配版本，读者可据此观察非 Nvidia 硬件生态的推进方式。
AWS Machine Learning BlogAI 评分3636 Smartsheet 在 AWS 上线 MCP Server，AI 智能体可读写工作管理数据
Smartsheet 已在 AWS 上线正式可用的 MCP Server，AI 助手可通过标准化协议读写和管理 Smartsheet 数据，覆盖 40 多个用于探索、创建和管理 sheet、行、列及自动化的工具。该服务提供三个区域端点，支持 OAuth 2.0 或 Personal Access Token 认证，可接入 Amazon Quick 和 Kiro 等 MCP 客户端。
AWS Machine Learning BlogAI 评分3838 用 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能
AWS 展示用 Amazon Quick 作为交互界面、Amazon Bedrock AgentCore 作为智能层，通过 MCP 服务器把 ERP、监控、采购等系统串成可组合工具层，让供应链管理者用自然语言跨系统提问。
AWS Machine Learning BlogAI 评分3838 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
针对 GPT-OSS-20B 在多语言推理测试中仅 22% 用目标语言思考的问题，AWS 在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 进行微调。结论是 SFT 承担大部分工作，GRPO 在存在提升空间时进一步优化，技术选择需匹配能力差距。团队还通过 Qwen2.5-7B 对照实验验证了 GRPO 的适用条件。
AWS Machine Learning BlogAI 评分3434 Octave 如何基于 Amazon Bedrock 构建安全多租户 AI 基础平台
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台，将每个用例的部署时间缩短 50%。该平台把 20 亿份文档嵌入按租户隔离的 Amazon OpenSearch Service 向量库，并通过 AgentCore Gateway 与隔离 microVM 调用 Anthropic Claude 模型。
AWS Machine Learning BlogAI 评分3434 加拿大 AWS 区域可通过跨区域推理在 Amazon Bedrock 上使用 OpenAI GPT 模型
Amazon Bedrock 的跨区域推理（CRIS）现支持从加拿大（中部）和加拿大西部（卡尔加里）区域调用 OpenAI GPT-5.6（Sol、Terra、Luna）、GPT-6（Astra、Sol、Luna）和 GPT-6.1 Sol。
AWS Machine Learning BlogAI 评分5858 AWS Agent Registry 如何在运行时发现工具
AWS 发布教程，介绍如何用 AWS Agent Registry 在运行时按需发现 MCP 服务器和 A2A 智能体，而不是把工具硬编码进编排器。
AWS Machine Learning BlogAI 评分3838 在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全
AWS 与 Keyfactor 联合发布参考架构，用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份。
MIT Technology Review · AIAI 评分1818 企业 AI 的新经济学：HPE 谈如何衡量 AI 的有效成本
HPE 提出企业 AI 应从"token 或 GPU 小时单价"转向"每个有用产出的有效成本"这一指标，即完成可用工作所需的平台、模型、运维与算力总成本。企业可选自建栈、按需消费或集成私有 AI 平台三条路径，HPE Private Cloud AI 将调度、模型选择、GPU 切分与缓存管理作为运营杠杆，并附 90 天前驻工程师服务。
The DecoderAI 评分5959 Cloudflare 发布文档数据抽取模型 Clairic
Cloudflare 发布 AI 模型 Clairic，称其从文档中抽取数据比大语言模型更快、更便宜，已在 Workers AI 上提供预览，开放权重即将跟进。
NVIDIA BlogAI 评分2525 西班牙初创企业借助巴塞罗那超级计算中心推进区域创新
巴塞罗那超级计算中心（BSC）的 AI Factory 加速器计划在试点后全面运营，为初创企业提供主权算力、技术支持和培训，部分服务已可通过 NVIDIA Inception 门户获取。
Hugging Face BlogAI 评分5858 AnyLanguageModel 1.0 发布：Apple 平台本地模型一年进展
Hugging Face 发布 AnyLanguageModel 1.0，同时推出 swift-huggingface 1.0 和 swift-xet 1.0。
Hugging Face Blog精选AI 评分6262 PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新，新增 torch.float8_e4m3fn 张量与 F.scaled_mm，FP8 张量占用为 BF16 的一半。
推荐理由：原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化，可据此判断 Mac 本地跑模型的实际收益。
Hugging Face Blog精选AI 评分7171 Hugging Face 支持 TorchTPU：Transformers 与 Diffusers 原生运行在 TPU 上
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行，不再需要 torch_xla 或 Optimum TPU。
推荐理由：原文给出了安装命令、device_map 用法和实测加速数据，读者可据此判断 PyTorch 模型迁移到 TPU 的成本。
NVIDIA BlogAI 评分3838 德国想引领全球工业 AI：NVIDIA 将如何助力
NVIDIA 与德国联邦政府签署联合意向声明，将围绕物理 AI 前沿模型展开合作，并接入德国“工业 4.0 平台”。黄仁勋同时宣布对 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace 四家德国初创公司的新投资，属于 NVIDIA 对欧洲近 100 亿美元承诺的一部分。
Hugging Face Blog精选AI 评分6060 Hugging Face 为 AWS Trainium 推出 TorchNeuron 原生后端
Hugging Face 宣布 TorchNeuron 作为 PyTorch 在 AWS Trainium 上的原生后端，将于 2026 年 10 月 20 日进入公开测试，可通过 pip install torch-neuronx 安装。
推荐理由：原文给出 TorchNeuron 在 HF 库中的接入方式与支持比例变化，读者可据此判断 Trainium 上的迁移成本。
Simon WillisonAI 评分1818 llm-echo 0.5 更新：模拟 token 用量计入工具调用与推理 token
Simon Willison 发布 llm-echo 0.5，这个调试插件提供一个不涉及 LLM 的“模型”，只把收到的提示词原样回显。新版本更新了模拟 token 用量统计，将工具调用、系统提示词和推理 token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 input、24 output。
Microsoft Research精选AI 评分6666 微软研究院推出基于证明的通用计算系统 Magnetar
微软研究院发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的程序执行过程，并返回可在约 12 毫秒内验证的简短证明。在 15 个基准程序上，它比同机最快的现有 zkVM 平均快 10 到 39 倍，在笔记本上每秒可证明 720 万至 870 万条 RISC-V 指令。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数，不需要椭圆曲线、格假设或可信设置。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取得进展。
NVIDIA BlogAI 评分2222 NVIDIA DLSS 4.5 控制选项登陆 GeForce NOW
NVIDIA 为 GeForce NOW 上线 DLSS 4.5 控制选项，让会员在云端调节支持游戏的画质与性能，无需最新硬件。DLSS Super Resolution、Dynamic Multi Frame Generation 和 Ray Reconstruction 均可在设置中调整，RTX 5080 云主机上的 Ultimate 会员最高可用 4X 动态多帧生成。
Latent SpaceAI 评分6262 Modal 年化收入达 10 亿美元，完成 16 亿美元 D 轮融资
Modal 年化经常性收入突破 10 亿美元，并以 157.5 亿美元估值完成 7.5 亿美元 D 轮融资，由 Accel 领投，使用量同比增长超过 15 倍。
NVIDIA BlogAI 评分3838 NVIDIA 通过开放学习资源、合作与算力扩展欧洲科研界先进技术可及性
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative，为欧洲科研社区提供加速工具、算力、培训与协作支持。NVIDIA 已开放超 250 个模型、250 个数据集和 1400 多个开源项目，并推出免费开源课程平台。欧洲目前有 35 台超算在建，将服务超 300 万名研究人员。
GitHub Blog · AI & MLAI 评分4040 GitHub 用 ModernBERT 分类器重构密钥扫描：误报更少、成本降 98%
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器，替代此前的 LLM 流水线，用户对告警的接受度提升 11.5%，推送后扫描中位执行时间缩短 86%，服务成本降低超 98%。该方案先用正则表达式广撒网生成候选，再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭据。效率提升使通用密钥检测得以扩展到推送保护，在代码提交前就返回结果。
GitHub Blog · AI & MLAI 评分5858 GitHub 推出基于 ModernBERT 的密钥检测分类器，扩展 push protection
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器，用代码上下文识别无固定格式的密钥，可在不到 2 毫秒内评估一批候选密钥，并称有望让可拦截的密钥数量翻倍以上。
Microsoft Research精选AI 评分7676 微软研究院开源 Agent Lightning v1.0：约 3500 行代码的轻量智能体 RL 框架
微软研究院开源 Agent Lightning v1.0，一个约 3500 行代码的轻量智能体强化学习框架，提出 Harnessed Agentic RL 范式，让部署时使用的 agent harness 直接参与训练，无需在训练框架内重新实现智能体。
推荐理由：微软研究院开源轻量智能体 RL 框架，给出真实 harness 训练路径与 SWE-bench 提升数据，可供工程团队参考复现。
Google ResearchAI 评分5858 Google 提出基于 TEE 的可验证隐私联邦学习系统
Google Research 发布新一代联邦学习系统，借助可信执行环境（TEE）让数据匿名化过程可被远程验证和审计，并称隐私保证更强、模型精度更高。设备上传的加密训练数据只能在符合访问策略的 TEE 内解密处理，访问策略发布到公开透明日志 Rekor，KMS 与数据处理二进制可从开源代码复现构建。Gboard 已采用该系统上线英语和日语下一词预测模型，训练速度明显快于此前系统。
Microsoft ResearchAI 评分5050 微软研究院用机器学习预测电网空间天气风险
微软研究院实习生构建的机器学习流水线可为美国本土66,935座变电站生成30-60分钟前的空间天气风险预警，评估期内检出近80%的重大事件。系统结合AE与Dst指数预报、纬度、地质电导率与电网数据，Dst预测在2020-2026年活动高峰时段有62.2%的小时优于Burton方程。