Hugging Face政策主管：嵌入式评估器难成易解

Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt上表示，嵌入式AI评估器并非易事，评估的可复现性仍是关键难题，开放权重对复现结果至关重要。 她称，评估科学仍在演进，不同测试之间难以有效比较，且失效速度较快；评估对象正从模型本身扩展到包含harness和智能体的整个系统，智能体评估难度大、成本高，而harness评估仍显不足。 她同时表示，外界对嵌入式评估器生态需求强烈，但判定谁能在哪些任务上有效评估，相关资质标准仍需大幅标准化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。