Anthropic 向 METR 开放员工级访问权限用于独立评估

上个月，我们承诺对我们的模型和安全实践进行更强有力的独立第三方评估。我们还签署了《超级智能白宫协议》，其中各公司承诺与独立的外部审计方或评估方合作。今天，我们宣布已开始向来自非营利组织METR的团队提供类似员工的访问权限，该组织负责评估前沿AI模型。

METR将公布其风险评估结果。在过去一年里，我们与METR合作开展了多项针对我们风险报告的审查。我们还在与SecureBio和Accenture合作作为评估方，并正与包括Hugging Face在内的其他几家组织进行初步洽谈。

在此，我们解释与评估方合作的方式。

我们为何与独立评估方合作

随着模型变得更加强大，它们需要更强的保障措施和更具挑战性的风险评估。我们希望对自己的决策公开负责。但我们无法公开分享与安全工作相关的所有信息。其中一些信息可能对恶意行为者有用，或者属于商业敏感信息，例如算力或训练信息。因此，我们向第三方评估方提供对我们信息的深度访问权限，并让他们分享有关构建我们模型所涉风险的证据和有理有据的结论。我们旨在缩小评估方对前沿AI公司系统的了解与公司自身了解之间的差距。

要评估前沿模型，评估方需要具备以下条件：

• 在评估前沿模型能力方面的专业知识，包括理解评估可能出错的方式，例如对齐伪装。
• 独立性：他们不应持有其所评估公司的股权，也不应在财务或运营上依赖于该公司。
• 足够的访问权限，以便有意义地评估风险。除了访问最新模型之外，评估方还需要了解这些模型是如何训练的、我们的保障措施如何运作等等。
• 自由发布对模型或流程的观察和评估 。

尽管这一类比并不完全准确，但银行监管的运作逻辑类似。银行比外部人士更了解自身的风险状况，因此监管机构会向最大的银行派驻常驻检查员。如果银行的风险承担可能威胁公众，第三方会试图提前发现这一点。

对于AI行业而言，这是迈向稳健安全监督的一步。我们正与多家评估方快速推进，并积极了解何种合作方式行之有效。我们承诺会持续分享进展。

我们所说的“类似员工的访问权限”是什么意思

我们已为六名METR员工完成入职，为他们提供公司硬件、办公空间，以及对内部工具和系统的访问权限，其程度大致与我们自己的风险评估团队所拥有的权限相当。除少数明确界定的类别（例如客户数据、受律师-当事人保密特权保护的信息，或有关我们模型架构的信息）之外，我们鼓励Anthropic员工与他们分享信息，就像与从事对齐风险工作的同事分享一样。¹

METR 将发布其对我们风险水平、事件或实践的分析。Anthropic 不能否决发布，但我们可以要求他们对属于预定义类别的信息进行删改，例如复制机密知识产权。(Anthropic 最终决定哪些信息属于这些类别，尽管 METR 保留就其获得的访问权限和信息水平发表某些声明的权利。)²

我们与 METR 的合作仅限于一个在可执行协议下运作的小团队。其他 METR 员工与该团队的工作相互隔离，包括与我们合作其他项目的研究人员。嵌入式评估让少数在 Anthropic 安全标准下工作的合格人员能够近距离了解我们的运作方式。这不是其他组织获取我们或我们客户及合作伙伴信息的方式。

我们的其他评估方合作

我们正在推进若干其他合作。由于这些其他合作仍处于早期阶段，我们向这些评估方提供的信息更为有限，他们的发布权利也更有限。我们开展这些早期合作的目标是确保我们的合作伙伴保护机密信息，并具备评估我们模型所需的资源和专业知识。随着合作推进和信任建立，我们希望充分嵌入更多独立评估方。

我们正在为评估方制定三个层级的访问权限。随着时间推移，我们希望有多个评估方达到第三层级，每个团队都能发布各自对我们风险态势和关键决策的分析。

在第一层级，评估方开展范围狭窄的风险调查。我们决定向第一层级评估方提供何种访问权限，评估方可在获得我们批准后发布其发现。

在第二层级，评估方无需我们批准即可发布，且可获取更多信息。我们仍可要求删除特定类别的信息，不过评估方可就我们的删改是否合理发表看法。

第三层级即我们与 METR 所描述的安排，具有类似员工的访问权限，以及类似第二层级的发布权利。

SecureBio 正在审阅我们八月风险报告中的化学和生物武器章节，此前已完成并发布了对我们上一份风险报告的试点审阅。此次审阅完成后，我们将考虑转向提供更多访问权限的项目。³

与 Accenture 和 Faculty 合作，我们正在推进一项雄心勃勃的合作，包括评估和红队测试模型、开展对齐评估、测试模型防护措施，以及在我们各组织内建设能力。

我们是自愿嵌入评估方的，我们认为每一家前沿 AI 公司都应这样做。