掘金 · AI 编程· htzyl206·· 3 小时前AI 评分30
第13章:token、缓存与路由的成本账
第13章-成本账:token、缓存与路由
AI 导读
成本是 token 与单价的乘积,而单价由缓存读写、异步批量、模型档位、分词器四个乘数共同决定。缓存读约为标准输入价的 0.1 倍,短存活期缓存写约 1.25 倍、读回一次即回本,长存活期约 2 倍、需读回两次;一次性调用开缓存是纯亏。低于最短长度的提示会被静默不缓存,需同时记录缓存写与缓存读 token 计数来验证。
来源:掘金 · AI 编程 · juejin.cn