Ai2 发布 FairStress 基准,评测 LLM 决策中的群体公平性
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为准则并追加到系统提示词,无需更新模型权重或人工标注。