Ai2 发布 FairStress 基准,评测 LLM 决策中的群体公平性
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为准则并追加到系统提示词,无需更新模型权重或人工标注。
Google 发布 Geospatial Reasoning 智能体技术报告,在四个基准上对比独立 LLM、基础工具、Earth AI 工具和完整规划智能体四种配置,并新开源 GeoKTools 与 GeoExpertQueries 两个基准的开发集。
推荐理由:技术报告用四个基准对比四种配置,量化了领域工具与前置规划对地理空间推理的增益。
Import AI 476 期聚焦三项进展:Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,含 522 道题、288 张图和 234 段视频,人类 pass@1 达 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。