NVIDIA 详解全栈协同设计缓解推理内存压力

NVIDIA 发布技术文章，称其全栈协同设计可缓解 AI 推理的内存压力，使每字节 HBM 得到更充分利用。文章称，从 Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量仅增约 3%，但 SemiAnalysis AgentX 上的智能体吞吐每美元最高提升 30 倍。 文章给出的具体做法包括：在 NVL72 系统中，模型权重可分散到最多 72 块 GPU 上，每块 GPU 承担更小的模型份额，从而为 KV cache 和并发用户留出更多 HBM；当上下文暂不使用时，NVIDIA Dynamo 推理软件会把它移至 NVIDIA CMX 上下文内存存储，该层每比特成本远低于 HBM，并在再次使用前将其返回。 上述提升幅度和效果均为 NVIDIA 在文章中的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。