AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体 TTFT
AWS 团队介绍 vLLM 中的双向 KV 传输机制，让 decode 节点在后续轮次把已算好的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例、EFA 互联的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#推理
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4242 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 和 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的测试显示 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
AWS Machine Learning BlogAI 评分2929 Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
The Decoder精选AI 评分7878 MiniMax 发布 M3.1 Flash 推理模型，单任务成本约 0.22 美元
MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得 42 分，比前代 M3 高 13 分，单任务成本不到其一半。
推荐理由：MiniMax M3.1 Flash 与 DeepSeek 新模型在多项基准上互有胜负，读者可据此比较两家中国厂商的性价比路线。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，把采用 Gated Linear Attention 的 Laplace 3B 移植到 AWS Trainium2，保留了 GLA 结构和 Muon 优化器。
AWS Machine Learning BlogAI 评分3838 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
针对 GPT-OSS-20B 在多语言推理测试中仅 22% 用目标语言思考的问题，AWS 在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 进行微调。结论是 SFT 承担大部分工作，GRPO 在存在提升空间时进一步优化，技术选择需匹配能力差距。团队还通过 Qwen2.5-7B 对照实验验证了 GRPO 的适用条件。
The DecoderAI 评分5959 Cloudflare 发布文档数据抽取模型 Clairic
Cloudflare 发布 AI 模型 Clairic，称其从文档中抽取数据比大语言模型更快、更便宜，已在 Workers AI 上提供预览，开放权重即将跟进。
Latent SpaceAI 评分6767 AINews 汇总：Meta 发布 Muse Spark Open，Goodfire 提出网络已清晰论
Meta 发布 Muse Spark Open，这是一个 816B 总参数、42B 激活的 MoE 模型，支持 1M token 上下文和文本、图像、视频、音频输入，采用自定义 Muse Model License。
Microsoft Research精选AI 评分6666 微软研究院推出基于证明的通用计算系统 Magnetar
微软研究院发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的程序执行过程，并返回可在约 12 毫秒内验证的简短证明。在 15 个基准程序上，它比同机最快的现有 zkVM 平均快 10 到 39 倍，在笔记本上每秒可证明 720 万至 870 万条 RISC-V 指令。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数，不需要椭圆曲线、格假设或可信设置。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取得进展。
Mistral AI精选AI 评分7474 Mistral 发布时间序列基础模型 Timestral，最大 209M 参数
Mistral 发布首个时间序列基础模型系列 Timestral，提供 5M、28M、123M 和 209M 四个尺寸，最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一，参数量为前代 SOTA 的三分之二。
推荐理由：原文给出四个尺寸的参数量、三项基准排名和 CPU 推理延迟，便于判断时间序列基础模型的选型边界。
Google DeepMind精选AI 评分8888 Google DeepMind 发布 Gemini 4 Argon 机器人模型
Google DeepMind 发布 Gemini 4 Argon，定位为通用物理推理模型，在测试 3D 物理空间问题理解的 Embodied Reasoning（ERQA）基准上以纯推理取得 87%，超过其他前沿模型。
推荐理由：官方给出 Argon 在 ERQA 的 87% 成绩，并用四类机器人任务提示词展示从仿真到真机的完整用法。
Google DeepMind精选AI 评分9292 Google DeepMind 发布 Gemini 4 Argon 模型
Google DeepMind 发布 Gemini 4 Argon，面向开发者、企业和消费者开放，API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入 token 享 95% 折扣。
推荐理由：官方给出定价、基准排名与多个内部落地案例，可据此判断前沿模型在专业工作流中的实际位置。
Import AIAI 评分3030 Import AI 476：创造力与递归自我改进、逊于中国的开源权重模型、AI 走向太空
Import AI 476 期聚焦三项进展：Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准，含 522 道题、288 张图和 234 段视频，人类 pass@1 达 93.1，最佳模型 GPT 6 Astra 仅 53.6，GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
Twitter OpenAIAI 评分7575 OpenAI 发布内部前沿模型产出的多项数学结果
OpenAI 发布了一批由内部前沿模型产出的新数学结果，相关材料已放在 github.com/openai/math。OpenAI 表示在发布过程中咨询了普林斯顿高等研究院数学与人工智能独立顾问组，并参考了其建议和公开推荐来确定发布方式。
Import AIAI 评分3232 Import AI 470：机器不应享有权利、用 SPADE 自动生成环境、用 Hawkeye 构建更好的 GPU kernel
METR 分析发现 AI 对网络安全漏洞发现的加速最明显，2026 年多个项目与 NVD、OSV 等漏洞库的报告速率较 2025 年大幅提升，对数学研究只有小幅加速，对 AI 研究本身则无可测量的加速。SPADE 让 LLM 交替扮演环境设计者与推理智能体，在 Qwen3-30B-A3B 上把游戏环境套件均分提升至 58.3，比基座高 8.1。
Berkeley AI Research精选AI 评分6060 从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
研究团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层，让进化式内核搜索把已有 CUDA 内核当作知识库，在 Apple Silicon 上生成高质量内核。
推荐理由：原文给出从 CUDA 到 MLX 的结构化翻译层与两组内核实测数据，可看跨平台内核经验迁移的具体做法。
Berkeley AI ResearchAI 评分4040 Berkeley AI Research 提出 ABBEL：用信念状态替代完整交互历史，提升 LLM 长程交互效率
Berkeley AI Research 提出 ABBEL 框架，将 LLM 的摘要内容隔离并监督为自然语言"信念状态"，替代完整交互历史作为智能体的工作上下文。在 CollabBench 协作编程任务上，基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%，训练步数从 100 步降至 50 步，峰值上下文 token 数也显著低于全上下文设置。
Berkeley AI ResearchAI 评分4040 智能免费之后怎么办？面向智能体、由智能体构建的数据系统
伯克利 EPIC Data Lab 提出，推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1、部分低于 $0.10，中位年降幅约 50x，数据系统需围绕智能体重构。作者提出三个方向：为智能体设计的数据系统、支撑智能体集群的数据系统、由智能体合成的数据系统。在 text-to-SQL 基准中多智能体尝试下仅 10-20% 子计划不同，80-90% 子查询存在重复计算。
Berkeley AI ResearchAI 评分3636 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队综述并行推理领域进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如自一致性、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定，未教会模型自适应行为。
Berkeley AI ResearchAI 评分3838 GRASP：面向世界模型长时程规划的梯度规划器
Berkeley AI Research 提出梯度规划器 GRASP，通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索、并重塑梯度让动作获得清晰信号，从而让世界模型的长时程规划更稳健。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型“状态-输入”梯度脆弱等问题。
Berkeley AI ResearchAI 评分3838 Berkeley AI Research 提出 SPEX 与 ProxySPEX：大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法，用于在大规模场景下识别 LLM 中驱动输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题，ProxySPEX 进一步利用层次结构，以约 10x 更少的消融达到 SPEX 的性能。在情感分析任务上，SPEX 在上下文扩展到数千特征时仍保持高忠实度，优于 LIME、Banzhaf 等方法。