跳到正文
V2EX · 最热 / 最新主题· Kopei·· 2 小时前AI 评分22

做大模型后训练或评测的团队,真有真实事件概率预测评测的需求吗?

做大模型后训练或评测的团队,请教下真有这样的需求吗?

AI 导读

有团队在探索一种评测方式:让模型针对结果尚未公布的真实事件,结合当时可获得的信息给出概率预测,结果公布后再验证预测表现与概率校准情况。该方式用于识别模型判断偏差、比较不同模型或版本表现,为模型选型、后训练优化和 Agent 能力改进提供真实世界评测依据,发帖者询问后训练或 Agent 团队是否真有这类需求。

来源:V2EX · 最热 / 最新主题 · v2ex.com