让大模型稳定输出 JSON 的三次方案迭代

一名开发者为了让大模型稳定输出 JSON，先后尝试了三种方案。第一版靠 Prompt 约束，输出仍被代码块和多余文字破坏解析；第二版改用厂商接口层的 schema 结构化输出（tool_calls 与 response_format），虽然消除了多余文字，但更贵更慢，且字段改名会牵动所有消费方。 最终方案是让模型只给出候选根因和证据行号，由代码层做宽松解析，解析失败仅重试一次，再失败则走兜底文案。作者称上线后解析失败告警少了一大半。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。