Hugging Face 政策负责人：嵌入式 AI 评估器并非易事
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非易事，评估的可复现性仍是关键难题，开放权重对复现结果至关重要。她指出，评估科学仍在演进，不同测试之间难以有效比较，且失效速度较快。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统，智能体评估难度大、成本高，而 harness 评估仍显不足。
#评测/基准
TechCrunch · AIAI 评分3838
Microsoft ResearchAI 评分2727 微软研究院播客：AI 会犯哪些错，失败又能教我们什么
微软研究院播客中，partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈，讨论评估如何推动 AI 系统突破性能边界，以及模型在传统 benchmark 之外测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议，并强调当结果超出预期时应仔细检查数据。