AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体 TTFT
AWS 团队介绍 vLLM 中的双向 KV 传输机制，让 decode 节点在后续轮次把已算好的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例、EFA 互联的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#部署/工程
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4242 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 和 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的测试显示 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
AWS Machine Learning BlogAI 评分2929 Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
AWS Machine Learning BlogAI 评分5252 TwelveLabs Pegasus 1.5 上线 Amazon Bedrock
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线，可将长视频按用户定义的分段条件输出带起止时间的结构化 JSON 元数据。
AWS Machine Learning BlogAI 评分3636 Amazon SageMaker JumpStart 2026 年至今回顾：新增 100+ 模型
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超 100 个模型，覆盖 30 家提供商。
AWS Machine Learning BlogAI 评分3838 新用户可通过全新 AWS 注册体验直接进入 SageMaker Studio
Amazon SageMaker AI 新客户现在可用 Google、GitHub、Apple、Amazon 账号或邮箱在 2–3 步内注册 AWS，并自动在约 20 秒内创建配置好的 SageMaker Studio 环境。
AWS Machine Learning BlogAI 评分3434 用 AtScale 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 AtScale 作为语义层、在 Amazon Redshift 上构建 Customer 360 模型，并通过 MCP 暴露给 AgentCore 托管的 Strands 智能体。
AWS Machine Learning BlogAI 评分3434 用 Strategy Mosaic 与 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 发布教程，演示如何用 Strategy Mosaic 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体，跨 Amazon Redshift 与 Amazon Aurora 建模 C360 域且无需 ETL。
AWS Machine Learning BlogAI 评分3434 用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体，联邦查询 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 三处数据源。
AWS Machine Learning BlogAI 评分4040 Eon 如何用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查能力
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口，用单一认证网关替代逐工具凭证和本地 MCP 进程，让开发者与自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，把采用 Gated Linear Attention 的 Laplace 3B 移植到 AWS Trainium2，保留了 GLA 结构和 Muon 优化器。
AWS Machine Learning BlogAI 评分3636 Smartsheet 在 AWS 上线 MCP Server，AI 智能体可读写工作管理数据
Smartsheet 已在 AWS 上线正式可用的 MCP Server，AI 助手可通过标准化协议读写和管理 Smartsheet 数据，覆盖 40 多个用于探索、创建和管理 sheet、行、列及自动化的工具。该服务提供三个区域端点，支持 OAuth 2.0 或 Personal Access Token 认证，可接入 Amazon Quick 和 Kiro 等 MCP 客户端。
AWS Machine Learning BlogAI 评分3838 用 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能
AWS 展示用 Amazon Quick 作为交互界面、Amazon Bedrock AgentCore 作为智能层，通过 MCP 服务器把 ERP、监控、采购等系统串成可组合工具层，让供应链管理者用自然语言跨系统提问。
AWS Machine Learning BlogAI 评分3838 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
针对 GPT-OSS-20B 在多语言推理测试中仅 22% 用目标语言思考的问题，AWS 在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 进行微调。结论是 SFT 承担大部分工作，GRPO 在存在提升空间时进一步优化，技术选择需匹配能力差距。团队还通过 Qwen2.5-7B 对照实验验证了 GRPO 的适用条件。
AWS Machine Learning BlogAI 评分3434 Octave 如何基于 Amazon Bedrock 构建安全多租户 AI 基础平台
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台，将每个用例的部署时间缩短 50%。该平台把 20 亿份文档嵌入按租户隔离的 Amazon OpenSearch Service 向量库，并通过 AgentCore Gateway 与隔离 microVM 调用 Anthropic Claude 模型。
AWS Machine Learning BlogAI 评分3434 加拿大 AWS 区域可通过跨区域推理在 Amazon Bedrock 上使用 OpenAI GPT 模型
Amazon Bedrock 的跨区域推理（CRIS）现支持从加拿大（中部）和加拿大西部（卡尔加里）区域调用 OpenAI GPT-5.6（Sol、Terra、Luna）、GPT-6（Astra、Sol、Luna）和 GPT-6.1 Sol。
AWS Machine Learning BlogAI 评分5858 AWS Agent Registry 如何在运行时发现工具
AWS 发布教程，介绍如何用 AWS Agent Registry 在运行时按需发现 MCP 服务器和 A2A 智能体，而不是把工具硬编码进编排器。
AWS Machine Learning BlogAI 评分3838 在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全
AWS 与 Keyfactor 联合发布参考架构，用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份。
NVIDIA BlogAI 评分2525 西班牙初创企业借助巴塞罗那超级计算中心推进区域创新
巴塞罗那超级计算中心（BSC）的 AI Factory 加速器计划在试点后全面运营，为初创企业提供主权算力、技术支持和培训，部分服务已可通过 NVIDIA Inception 门户获取。
Hugging Face BlogAI 评分5858 AnyLanguageModel 1.0 发布：Apple 平台本地模型一年进展
Hugging Face 发布 AnyLanguageModel 1.0，同时推出 swift-huggingface 1.0 和 swift-xet 1.0。
Hugging Face Blog精选AI 评分6262 PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新，新增 torch.float8_e4m3fn 张量与 F.scaled_mm，FP8 张量占用为 BF16 的一半。
推荐理由：原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体变化，可据此判断 Mac 本地跑模型的实际收益。
Hugging Face Blog精选AI 评分7171 Hugging Face 支持 TorchTPU：Transformers 与 Diffusers 原生运行在 TPU 上
Hugging Face 宣布接入 TorchTPU 这一原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行，不再需要 torch_xla 或 Optimum TPU。
推荐理由：原文给出了安装命令、device_map 用法和实测加速数据，读者可据此判断 PyTorch 模型迁移到 TPU 的成本。
NVIDIA BlogAI 评分3838 德国想引领全球工业 AI：NVIDIA 将如何助力
NVIDIA 与德国联邦政府签署联合意向声明，将围绕物理 AI 前沿模型展开合作，并接入德国“工业 4.0 平台”。黄仁勋同时宣布对 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace 四家德国初创公司的新投资，属于 NVIDIA 对欧洲近 100 亿美元承诺的一部分。
Hugging Face Blog精选AI 评分6060 Hugging Face 为 AWS Trainium 推出 TorchNeuron 原生后端
Hugging Face 宣布 TorchNeuron 作为 PyTorch 在 AWS Trainium 上的原生后端，将于 2026 年 10 月 20 日进入公开测试，可通过 pip install torch-neuronx 安装。
推荐理由：原文给出 TorchNeuron 在 HF 库中的接入方式与支持比例变化，读者可据此判断 Trainium 上的迁移成本。
Microsoft Research精选AI 评分6666 微软研究院推出基于证明的通用计算系统 Magnetar
微软研究院发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的程序执行过程，并返回可在约 12 毫秒内验证的简短证明。在 15 个基准程序上，它比同机最快的现有 zkVM 平均快 10 到 39 倍，在笔记本上每秒可证明 720 万至 870 万条 RISC-V 指令。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数，不需要椭圆曲线、格假设或可信设置。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取得进展。
NVIDIA BlogAI 评分2222 NVIDIA DLSS 4.5 控制选项登陆 GeForce NOW
NVIDIA 为 GeForce NOW 上线 DLSS 4.5 控制选项，让会员在云端调节支持游戏的画质与性能，无需最新硬件。DLSS Super Resolution、Dynamic Multi Frame Generation 和 Ray Reconstruction 均可在设置中调整，RTX 5080 云主机上的 Ultimate 会员最高可用 4X 动态多帧生成。
NVIDIA BlogAI 评分3838 NVIDIA 通过开放学习资源、合作与算力扩展欧洲科研界先进技术可及性
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative，为欧洲科研社区提供加速工具、算力、培训与协作支持。NVIDIA 已开放超 250 个模型、250 个数据集和 1400 多个开源项目，并推出免费开源课程平台。欧洲目前有 35 台超算在建，将服务超 300 万名研究人员。
GitHub Blog · AI & MLAI 评分4040 GitHub 用 ModernBERT 分类器重构密钥扫描：误报更少、成本降 98%
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器，替代此前的 LLM 流水线，用户对告警的接受度提升 11.5%，推送后扫描中位执行时间缩短 86%，服务成本降低超 98%。该方案先用正则表达式广撒网生成候选，再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭据。效率提升使通用密钥检测得以扩展到推送保护，在代码提交前就返回结果。
GitHub Blog · AI & MLAI 评分5858 GitHub 推出基于 ModernBERT 的密钥检测分类器，扩展 push protection
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器，用代码上下文识别无固定格式的密钥，可在不到 2 毫秒内评估一批候选密钥，并称有望让可拦截的密钥数量翻倍以上。
Microsoft Research精选AI 评分7676 微软研究院开源 Agent Lightning v1.0：约 3500 行代码的轻量智能体 RL 框架
微软研究院开源 Agent Lightning v1.0，一个约 3500 行代码的轻量智能体强化学习框架，提出 Harnessed Agentic RL 范式，让部署时使用的 agent harness 直接参与训练，无需在训练框架内重新实现智能体。
推荐理由：微软研究院开源轻量智能体 RL 框架，给出真实 harness 训练路径与 SWE-bench 提升数据，可供工程团队参考复现。
Google ResearchAI 评分5858 Google 提出基于 TEE 的可验证隐私联邦学习系统
Google Research 发布新一代联邦学习系统，借助可信执行环境（TEE）让数据匿名化过程可被远程验证和审计，并称隐私保证更强、模型精度更高。设备上传的加密训练数据只能在符合访问策略的 TEE 内解密处理，访问策略发布到公开透明日志 Rekor，KMS 与数据处理二进制可从开源代码复现构建。Gboard 已采用该系统上线英语和日语下一词预测模型，训练速度明显快于此前系统。
Microsoft ResearchAI 评分5050 微软研究院用机器学习预测电网空间天气风险
微软研究院实习生构建的机器学习流水线可为美国本土66,935座变电站生成30-60分钟前的空间天气风险预警，评估期内检出近80%的重大事件。系统结合AE与Dst指数预报、纬度、地质电导率与电网数据，Dst预测在2020-2026年活动高峰时段有62.2%的小时优于Burton方程。
Mistral AIAI 评分4242 Mistral 在慕尼黑开设德国中心，推进工业 AI 与 Physics AI
Mistral 在慕尼黑开设德国中心，组建专注 Physics AI 与工业 AI 的研究团队，并直接服务企业合作伙伴。Mistral 计划到 2030 年建成 1 吉瓦欧洲算力，其开放权重模型可在客户自有基础设施上运行。慕尼黑团队正与 BMW 合作碰撞仿真、与 Siemens Energy 合作工业 AI 应用，并与慕尼黑工业大学（TUM）共建汽车空气动力学数字孪生研究。
Mistral AIAI 评分3838 Mistral 与 Cloudera 合作，将专用主权智能引入企业数据
Mistral 与 Cloudera 宣布合作，将 Mistral 模型集成进 Cloudera 混合数据平台，企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还能在受控环境内用大量专有数据训练定制模型，数据与由此产生的智能均归企业所有。Cloudera 平台承载 30 exabytes 客户自管数据，双方称此举面向数据、智能、算力和运营均由客户掌控的主权 AI 需求。
Mistral AIAI 评分5858 Mistral 如何用 AI 智能体迁移 4 万行 Fortran 77 遗留代码
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 水库模拟器迁移到 C++，并公开了其中的智能体工作流。团队先搭建数值对齐校验框架，用自定义解析器生成调用树，再让上百个智能体借助 Mistral OCR 整理文档；迁移时采用规划、编码、测试、审查四类智能体分工，并保留人工审核环节。
Berkeley AI Research精选AI 评分6060 从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
研究团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层，让进化式内核搜索把已有 CUDA 内核当作知识库，在 Apple Silicon 上生成高质量内核。
推荐理由：原文给出从 CUDA 到 MLX 的结构化翻译层与两组内核实测数据，可看跨平台内核经验迁移的具体做法。