Ai2 发布 FairStress 基准,评测 LLM 决策中的群体公平性
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为准则并追加到系统提示词,无需更新模型权重或人工标注。
Google DeepMind 推出 SynthID Bio,把水印技术用于合成生物学,将不可感知的签名直接嵌入生物代码,并能在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:原文说明了水印如何嵌入蛋白质序列与结构,并给出湿实验验证结果,读者可据此判断其对生物安全筛查的意义。
研究团队为 K-Search 增加 MLX 后端和结构化 CUDA-to-MLX 翻译层,让进化式内核搜索把已有 CUDA 内核当作知识库,在 Apple Silicon 上生成高质量内核。
推荐理由:原文给出从 CUDA 到 MLX 的结构化翻译层与两组内核实测数据,可看跨平台内核经验迁移的具体做法。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 中驱动输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约 10x 更少的消融达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。
Berkeley AI Research 提出一种直接以互信息评估和优化成像系统的框架,仅用带噪测量和噪声模型即可量化测量对物体的区分能力。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域预测了解码器性能,优化后的设计达到 SOTA 端到端方法水平,且内存和算力需求更低、无需任务专用解码器。