跳到正文
掘金 · AI 编程· 西安小哥·· 3 小时前AI 评分48

大模型开始自己排班:LLM 路由落地时我踩到的三个坑

AI 导读

一个团队把 LLM 路由接入工单系统后,总结出三个落地坑:7B 分类器误判复杂请求且错得安静,需靠多步推理信号和置信度阈值强制升级;升级链路传摘要会丢信息、传全量又抵消省钱,改用片段编号拼原文;网关侧记录请求指纹、命中模型和升级原因才能归因成本。

来源:掘金 · AI 编程 · juejin.cn