跳到正文
掘金 · AI 编程· 西安小哥·· 4 小时前AI 评分38

让大模型稳定输出 JSON 的三次方案迭代:从 Prompt 到结构化输出再到代码守卫

让大模型稳定输出 JSON,我换了三次方案,最后败给一个土办法

AI 导读

作者尝试让大模型稳定输出 JSON,第一版靠 Prompt 约束仍被代码块和多余文字破坏解析,第二版改用厂商接口层的 schema 结构化输出(tool_calls 与 response_format)虽消除废话但更贵更慢、字段改名牵动所有消费方。最终方案是模型只给候选根因和证据行号,代码层宽松解析、失败仅重试一次后走兜底文案,上线后解析失败告警少了一大半。

来源:掘金 · AI 编程 · juejin.cn