AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体 TTFT
AWS 团队介绍 vLLM 中的双向 KV 传输机制，让 decode 节点在后续轮次把已算好的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例、EFA 互联的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#教程/实践
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4242 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 和 TPOT。在基于 Amazon EC2 P5en 实例、通过 EFA 连接的 1P1D 部署上，Qwen3-32B 的测试显示 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
AWS Machine Learning BlogAI 评分2929 Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有算力方案高 11%–70%。优化包括 TorchNeuron 原生 PyTorch 编译、NKILib 融合内核替换与手写 NKI 内核调优。
AWS Machine Learning BlogAI 评分3434 用 AtScale 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 AtScale 作为语义层、在 Amazon Redshift 上构建 Customer 360 模型，并通过 MCP 暴露给 AgentCore 托管的 Strands 智能体。
AWS Machine Learning BlogAI 评分3434 用 Strategy Mosaic 与 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 发布教程，演示如何用 Strategy Mosaic 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体，跨 Amazon Redshift 与 Amazon Aurora 建模 C360 域且无需 ETL。
AWS Machine Learning BlogAI 评分3434 用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体，联邦查询 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 三处数据源。
AWS Machine Learning BlogAI 评分4040 Eon 如何用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查能力
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口，用单一认证网关替代逐工具凭证和本地 MCP 进程，让开发者与自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 如何在 Trainium2 上用原生 PyTorch 训练和部署 Laplace 3B 线性注意力模型
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，把采用 Gated Linear Attention 的 Laplace 3B 移植到 AWS Trainium2，保留了 GLA 结构和 Muon 优化器。
AWS Machine Learning BlogAI 评分3838 用 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能
AWS 展示用 Amazon Quick 作为交互界面、Amazon Bedrock AgentCore 作为智能层，通过 MCP 服务器把 ERP、监控、采购等系统串成可组合工具层，让供应链管理者用自然语言跨系统提问。
AWS Machine Learning BlogAI 评分3838 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
针对 GPT-OSS-20B 在多语言推理测试中仅 22% 用目标语言思考的问题，AWS 在 Amazon SageMaker HyperPod 上用 SFT 与 GRPO 进行微调。结论是 SFT 承担大部分工作，GRPO 在存在提升空间时进一步优化，技术选择需匹配能力差距。团队还通过 Qwen2.5-7B 对照实验验证了 GRPO 的适用条件。
AWS Machine Learning BlogAI 评分3434 Octave 如何基于 Amazon Bedrock 构建安全多租户 AI 基础平台
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台，将每个用例的部署时间缩短 50%。该平台把 20 亿份文档嵌入按租户隔离的 Amazon OpenSearch Service 向量库，并通过 AgentCore Gateway 与隔离 microVM 调用 Anthropic Claude 模型。
AWS Machine Learning BlogAI 评分5858 AWS Agent Registry 如何在运行时发现工具
AWS 发布教程，介绍如何用 AWS Agent Registry 在运行时按需发现 MCP 服务器和 A2A 智能体，而不是把工具硬编码进编排器。
GitHub Blog · AI & MLAI 评分2222 三位 Java Champion 如何用 GitHub Copilot 提升生产力
GitHub 博客采访了 Vlad Mihalcea、Patrick Baumgartner 和 Frank Delporte 三位 Java Champion，分享在生产与开源项目中使用 GitHub Copilot 的实践。
AWS Machine Learning BlogAI 评分3838 在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全
AWS 与 Keyfactor 联合发布参考架构，用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份。
GitHub Blog · AI & MLAI 评分3636 如何在 VS Code 中继续 GitHub Copilot 应用会话
GitHub Copilot 应用中的会话可直接在 VS Code 中打开并继续，保留原有对话、代码改动和工作上下文。VS Code 会以该会话关联的 worktree 打开项目，并在 Copilot 侧边栏显示原会话，便于逐行审查 diff、手动编辑、本地运行测试，最后提交并推送到会话对应的 pull request。
GitHub Blog · AI & MLAI 评分4040 GitHub 用 ModernBERT 分类器重构密钥扫描：误报更少、成本降 98%
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器，替代此前的 LLM 流水线，用户对告警的接受度提升 11.5%，推送后扫描中位执行时间缩短 86%，服务成本降低超 98%。该方案先用正则表达式广撒网生成候选，再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭据。效率提升使通用密钥检测得以扩展到推送保护，在代码提交前就返回结果。
GitHub Blog · AI & MLAI 评分3838 GitHub Copilot 入门：如何让 Copilot 了解你的代码库
GitHub Copilot 入门系列介绍四种让 Copilot 适配项目的方式：仓库级自定义指令（.github/copilot-instructions.md）、封装可重复流程的 agent skills、面向大型任务的 custom agents，以及连接外部工具与数据的 MCP servers。
GitHub Blog · AI & MLAI 评分2222 GitHub 博客：AI 正在改变开发者工作，值得强化的三项技能
GitHub 博客提出 AI 时代开发者应强化的三项技能：学会指挥 AI 智能体而非仅使用它，不轻信 AI 的第一个答案，以及用 AI 节省的时间去解决更大的问题。文章以添加认证流程为例，展示开发者从逐行写代码转为定义任务、审阅多个智能体产出并做技术决策。文中还提到 GitHub Copilot 内置的 Rubber Duck 智能体用第二个模型评审计划、代码和测试。
GitHub Blog · AI & MLAI 评分5858 GitHub Copilot 应用入门：如何用 canvases 构建自定义工作流
GitHub Copilot 应用中的 canvas 是一种可自定义界面，用户和智能体共享同一份状态，可做成看板、问题分诊板或发布清单。创建时只需在智能体会话中输入 /create-canvas 并用自然语言描述工作流、界面操作和智能体可执行的动作，智能体就会生成界面并在右侧面板打开。
Mistral AIAI 评分5858 Mistral 如何用 AI 智能体迁移 4 万行 Fortran 77 遗留代码
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 水库模拟器迁移到 C++，并公开了其中的智能体工作流。团队先搭建数值对齐校验框架，用自定义解析器生成调用树，再让上百个智能体借助 Mistral OCR 整理文档；迁移时采用规划、编码、测试、审查四类智能体分工，并保留人工审核环节。