AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体 TTFT
AWS 团队介绍 vLLM 中的双向 KV 传输机制，让 decode 节点在后续轮次把已算好的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例、EFA 互联的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#推理
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4242 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 和 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的测试显示 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
AWS Machine Learning BlogAI 评分2929 Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，把采用 Gated Linear Attention 的 Laplace 3B 移植到 AWS Trainium2，保留了 GLA 结构和 Muon 优化器。
AWS Machine Learning BlogAI 评分3838 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
针对 GPT-OSS-20B 在多语言推理测试中仅 22% 用目标语言思考的问题，AWS 在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 进行微调。结论是 SFT 承担大部分工作，GRPO 在存在提升空间时进一步优化，技术选择需匹配能力差距。团队还通过 Qwen2.5-7B 对照实验验证了 GRPO 的适用条件。
Microsoft Research精选AI 评分6666 微软研究院推出基于证明的通用计算系统 Magnetar
微软研究院发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的程序执行过程，并返回可在约 12 毫秒内验证的简短证明。在 15 个基准程序上，它比同机最快的现有 zkVM 平均快 10 到 39 倍，在笔记本上每秒可证明 720 万至 870 万条 RISC-V 指令。其安全性仅依赖 SHA-256、SHA-3 等标准哈希函数，不需要椭圆曲线、格假设或可信设置。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，说明 Magnetar 如何在通用性、速度与标准哈希安全之间同时取得进展。
Mistral AI精选AI 评分7474 Mistral 发布时间序列基础模型 Timestral，最大 209M 参数
Mistral 发布首个时间序列基础模型系列 Timestral，提供 5M、28M、123M 和 209M 四个尺寸，最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一，参数量为前代 SOTA 的三分之二。
推荐理由：原文给出四个尺寸的参数量、三项基准排名和 CPU 推理延迟，便于判断时间序列基础模型的选型边界。
Google DeepMind精选AI 评分8888 Google DeepMind 发布 Gemini 4 Argon 机器人模型
Google DeepMind 发布 Gemini 4 Argon，定位为通用物理推理模型，在测试 3D 物理空间问题理解的 Embodied Reasoning（ERQA）基准上以纯推理取得 87%，超过其他前沿模型。
推荐理由：官方给出 Argon 在 ERQA 的 87% 成绩，并用四类机器人任务提示词展示从仿真到真机的完整用法。
Google DeepMind精选AI 评分9292 Google DeepMind 发布 Gemini 4 Argon 模型
Google DeepMind 发布 Gemini 4 Argon，面向开发者、企业和消费者开放，API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入 token 享 95% 折扣。
推荐理由：官方给出定价、基准排名与多个内部落地案例，可据此判断前沿模型在专业工作流中的实际位置。
Berkeley AI Research精选AI 评分6060 从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
研究团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层，让进化式内核搜索把已有 CUDA 内核当作知识库，在 Apple Silicon 上生成高质量内核。
推荐理由：原文给出从 CUDA 到 MLX 的结构化翻译层与两组内核实测数据，可看跨平台内核经验迁移的具体做法。
Berkeley AI ResearchAI 评分4040 Berkeley AI Research 提出 ABBEL：用信念状态替代完整交互历史，提升 LLM 长程交互效率
Berkeley AI Research 提出 ABBEL 框架，将 LLM 的摘要内容隔离并监督为自然语言"信念状态"，替代完整交互历史作为智能体的工作上下文。在 CollabBench 协作编程任务上，基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%，训练步数从 100 步降至 50 步，峰值上下文 token 数也显著低于全上下文设置。
Berkeley AI ResearchAI 评分4040 智能免费之后怎么办？面向智能体、由智能体构建的数据系统
伯克利 EPIC Data Lab 提出，推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1、部分低于 $0.10，中位年降幅约 50x，数据系统需围绕智能体重构。作者提出三个方向：为智能体设计的数据系统、支撑智能体集群的数据系统、由智能体合成的数据系统。在 text-to-SQL 基准中多智能体尝试下仅 10-20% 子计划不同，80-90% 子查询存在重复计算。
Berkeley AI ResearchAI 评分3636 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队综述并行推理领域进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如自一致性、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定，未教会模型自适应行为。
Berkeley AI ResearchAI 评分3838 GRASP：面向世界模型长时程规划的梯度规划器
Berkeley AI Research 提出梯度规划器 GRASP，通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索、并重塑梯度让动作获得清晰信号，从而让世界模型的长时程规划更稳健。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型“状态-输入”梯度脆弱等问题。
Berkeley AI ResearchAI 评分3838 Berkeley AI Research 提出 SPEX 与 ProxySPEX：大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法，用于在大规模场景下识别 LLM 中驱动输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题，ProxySPEX 进一步利用层次结构，以约 10x 更少的消融达到 SPEX 的性能。在情感分析任务上，SPEX 在上下文扩展到数千特征时仍保持高忠实度，优于 LIME、Banzhaf 等方法。