大模型团队是否需真实事件概率预测评测引讨论

有团队在探索一种大模型评测方式：让模型针对结果尚未公布的真实事件，结合当时可获得的信息给出概率预测，结果公布后再验证预测表现与概率校准情况。该方式被用于识别模型判断偏差、比较不同模型或版本表现，为模型选型、后训练优化和 Agent 能力改进提供真实世界评测依据。 发帖者在 V2EX 询问做大模型后训练或 Agent 的团队是否真有这类需求，目前没有团队回应或表态。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。