Ai2 发布 FairStress 基准,评测 LLM 决策中的群体公平性
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为准则并追加到系统提示词,无需更新模型权重或人工标注。
Terminal X 的 Eval Agent 基于 54 项标准评分体系,使用 GPT-6.1 Sol 对输出进行打分,与资深投资人的判断一致率达到 88.6%。相比此前方案,该 Agent 多捕捉到 25% 偏离基金投资授权的输出。
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现,并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。原文未披露具体模型版本、分数或可用性细节。
Google 发布 Geospatial Reasoning 智能体技术报告,在四个基准上对比独立 LLM、基础工具、Earth AI 工具和完整规划智能体四种配置,并新开源 GeoKTools 与 GeoExpertQueries 两个基准的开发集。
推荐理由:技术报告用四个基准对比四种配置,量化了领域工具与前置规划对地理空间推理的增益。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动 AI 系统突破性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议,并强调当结果超出预期时应仔细检查数据。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。