MiniMax 发布 M3.1 Flash 推理模型,单任务成本约 0.22 美元
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis 智能指数上得 42 分,比前代 M3 高 13 分,单任务成本不到其一半。
推荐理由:MiniMax M3.1 Flash 与 DeepSeek 新模型在多项基准上互有胜负,读者可据此比较两家中国厂商的性价比路线。
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis 智能指数上得 42 分,比前代 M3 高 13 分,单任务成本不到其一半。
推荐理由:MiniMax M3.1 Flash 与 DeepSeek 新模型在多项基准上互有胜负,读者可据此比较两家中国厂商的性价比路线。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估的可复现性仍是关键难题,开放权重对复现结果至关重要。她指出,评估科学仍在演进,不同测试之间难以有效比较,且失效速度较快。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统,智能体评估难度大、成本高,而 harness 评估仍显不足。
ElevenLabs 发布两款名为 Eleven Realtime 的语音到语音模型。其中 Max 版本在 Big Bench Audio 基准上得分 98.8%,响应时间为 0.57 秒;ElevenLabs 称目前 Artificial Analysis 榜单上没有模型能同时做到更快且更准确。
OpenAI 表示已针对 COBOL、Fortran、Visual Basic 等训练代码稀缺的“低资源”语言改进最新模型,并构建了 MultiLangBench 和 COBOL 迁移两项评测来衡量进展。
推荐理由:原文给出 GPT-6 系列在 COBOL、Fortran 等低资源语言上的基准数字,可对照旧版模型看提升幅度。
Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中超越最终选择的群体公平性,并已集成进 Olmo-eval。该基准包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,另提供 5 万条的 FairStress-Core 子集。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:它用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹,蒸馏出简短行为准则并追加到系统提示词,无需更新模型权重或人工标注。
Terminal X 的 Eval Agent 基于 54 项标准评分体系,使用 GPT-6.1 Sol 对输出进行打分,与资深投资人的判断一致率达到 88.6%。相比此前方案,该 Agent 多捕捉到 25% 偏离基金投资授权的输出。
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现,并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。原文未披露具体模型版本、分数或可用性细节。
Latent Space 正在试播新节目 High Taste Testers,把旧金山午餐闲聊中的话题搬上节目,首期从 Dev Day 谈到最新模型与助手,并汇总了 10 月 15 日至 16 日的 AI 新闻。
Google 发布 Geospatial Reasoning 智能体技术报告,在四个基准上对比独立 LLM、基础工具、Earth AI 工具和完整规划智能体四种配置,并新开源 GeoKTools 与 GeoExpertQueries 两个基准的开发集。
推荐理由:技术报告用四个基准对比四种配置,量化了领域工具与前置规划对地理空间推理的增益。
Import AI 476 期聚焦三项进展:Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,含 522 道题、288 张图和 234 段视频,人类 pass@1 达 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动 AI 系统突破性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她还分享使用当前 AI 系统的实用建议,并强调当结果超出预期时应仔细检查数据。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。