Latent Space·· 2 小时前精选AI 评分86
DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155 万亿 token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer，并公布单集群日处理 155 万亿 token、输入缓存命中率 96%、非高峰时段每加速器小时 38 美元收入等数据。
推荐理由
原文拆解了 DeepInfer 的缓存分层、调度与开源边界，并给出 vLLM 的对照复现结果，便于判断这套生产栈的可迁移性。
来源：Latent Space · latent.space