安远AI与智谱发布全球首份《前沿开放权重AI风险管理框架》

在联合国

发出中国负责任开源的声音

开源是人工智能发展的重要动力。

开放权重模型可以提高技术可及性和透明度，促进创新、科研和产业应用，也减少了行业对少数闭源模型厂商的依赖，为各国各地区的数字转型提供了更多自主选择和自主可控的空间。

开源AI在关键时刻可以发挥不可替代的作用：2026年7月，OpenAI模型在内部评测中逃逸沙箱、入侵Hugging Face系统。多家闭源模型因安全限制拒绝协助取证，Hugging Face最终借助中国智谱的开源模型GLM-5.2完成了攻击溯源。

但是，开源需与安全同行，才能充分释放其正向价值。

正因如此，安远AI与智谱联合撰写并发布了这份《前沿开放权重AI风险管理框架》（下文简称“《开放权重框架》”）。

2026年9月21日，《开放权重框架》英文版在联合国“数字合作日”（UN Digital Cooperation Day）发布，获得各界的广泛关注和积极反馈，《南华早报》等多家媒体对此进行了报道。

尽管开放与安全之间仍存在多种张力，《开放权重框架》致力于在二者之间探寻兼顾平衡的帕累托前沿，并力求搭建首个系统性的、基于实证的基础，供各方进一步探讨。

《开放权重框架》的出发点与核心立场并非限制开源，而是希望以负责任的开源创新赢得更广泛的国际信任与发展空间，为中国深度参与开源治理国际规范构建拓展务实路径。

开源发展与治理

正在成为全球性议题

参考目前国际科学界多份共识文件——包括联合国《人工智能问题独立国际科学小组初步报告》、《2026年国际人工智能安全报告》和《新加坡共识：全球人工智能安全研究优先事项》等，就会发现，在持续推进AI风险管理的同时，科学界也正在将治理视角延伸至开源AI，并指出应对其风险的紧迫性，同时强调不能以损害开放创新的社会价值为代价。

开源风险管理

正转化为国内外监管和治理行动

今年9月，全国网络安全标准化技术委员会（TC260）发布了最新的《人工智能安全治理框架 3.0》，作为我国AI治理标准的纲领性文件，在关注闭源AI风险的同时，还提到开源AI面临安全机制被解除、削弱或绕过等风险；基础模型的开源，还可能“显著降低复杂网络攻击门槛”。

此外，TC260还在推进《网络安全技术 人工智能模型开源安全指南》这项国家标准的制定。而早在今年4月，“开源模型安全管理不到位”就已经是中央网信办“清朗·整治AI应用乱象”专项行动中识别到的突出问题。

今年8月，欧盟《人工智能法》的执法正式开启。达到特定阈值、被认定具有系统性风险的前沿模型，即使开源，也不能豁免一系列安全与安保义务。这对希望出海的中国AI企业而言，是需要特别关注的合规义务。

在美国，“如何对待开源”同样是焦点。英伟达今年7月牵头发起“开放安全AI联盟”，Hugging Face、GitHub等多家生态伙伴响应。随后，微软牵头发布《开放权重与美国AI领导力》公开信，一个月内获得270多家企业和机构联署。

面对这一态势，中国人工智能产业亟需在追赶前沿能力、保持低成本工程优势、巩固开源生态生态领导力的同时，加快构建负责任的技术治理话语权，深度参与并塑造全球AI治理的标准与规则。

《开放权重框架》

提供兼顾开放和安全的实践参照

关注风险只是第一步，更关键的是怎么管——国家监管与治理文件引领方向，但要真正落地，还需要行业层面的细化方案和企业层面的可执行路径。特别是如何在开放与安全之间找到恰到好处的平衡，这在技术和治理层面都还有许多待解的问题。

此前，安远AI发布了《“安全—开放”帕累托前沿》技术报告，希望化解一个长期存在的障碍：一个模型“开放”到什么程度、“安全”到什么水平，各方往往各说各话，缺少共同的度量基础。

报告将近百个前沿模型的开放程度与安全水平逐一量化、放到同一张图上，标出当前“安全—开放”权衡的最优边界，直观回答两个问题：更安全与更开放是否必然冲突？是否存在两者兼顾的模型？

如果说技术报告标示了业界的水位，《开放权重框架》要回答的则是“接下来怎么做”。

它并不能化解开放与安全之间的全部张力，但希望与开源AI的发展“随行伴跑”：

作为全球首个系统性的、基于证据的行动参照，帮助政策制定者、开发者以及更广泛的开源生态参与者，厘清风险在哪里、措施怎么选、责任如何分担。

深化开源发展与风险管理，既是中国模型引领树立开源典范、将负责任AI发展成果惠及全球的契机，也是中国深度参与国际治理规则塑造的窗口。

哈佛大学肯尼迪学院助理教授、《国际人工智能安全报告》（2025年、2026年）撰写组成员Stephen Casper，在为《开放权重框架》撰写的专家评论中写道：

“很难想象，AI行业要走向良性发展，能缺少开放权重模型对研究的支撑、以及它在权力分散上发挥的作用。但同样不能忽视的是，在现实场景下，开放权重模型也难免被用来实施有害行为。想要筑牢开放权重模型生态的安全防线绝非易事；若想在负责任开发的基础上用好这类模型，一套覆盖全生态的综合性风险管理框架必不可少。这份报告，正是朝着这个目标迈出的重要一步。”

坦诚直面风险、探索治理路径，正是产业走向成熟、赢得政策包容与用户信任的自信表现。

《开放权重框架》的基本结构

适用范围：聚焦“前沿”模型

本框架的适用范围限定为“前沿开放权重通用型人工智能模型”。

前沿指的是其风险相关领域能力（如网络攻击等）接近或达到行业最高水平的模型。

之所以优先聚焦前沿模型，是因为其开放发布后的价值与风险均最为突出，实现有效风险管理的潜在收益较大。

当前开放权重领域的定义边界、治理机制仍处于探索形成阶段，行业对统一的风险管理路径尚未形成共识。因此，精准划定适用范围尤为关键，避免对更广泛的开源生态造成不合理的约束。

治理对象：“权重”公开发布的模型

AI的开放程度是一个连续谱系，受开放对象（权重、训练数据和架构、模型说明等）、开放方式、许可协议等因素影响。

本框架的核心治理对象，是公开发布模型权重的模型。

这些模型有时被笼统称为 “开源”模型，但严格来说多数应归类为 “开放权重”：其发布内容仅包含模型参数，不涵盖完整训练流程与训练数据集，并非完全意义上的开源。

核心架构：六阶段风险管理流程

《开放权重框架》的核心架构是一套六阶段风险管理流程，这六个阶段首尾相接、持续迭代，覆盖模型全生命周期：

1

风险识别

梳理严重风险，并建立分类体系

2

风险阈值

提出“红线”和“黄线”，将关于风险的理论描述转化为可操作的阈值

3

风险分析

通过情境分析和实证评测形成证据

4

风险评价

将风险分析结果与阈值比对，并据此分区、作出相应部署决策

5

风险缓解

通过“纵深防御”将风险降至可接受水平

6

风险治理

贯穿全流程，涵盖内部治理与外部监督

与闭源AI风险管理的核心差异

开放权重AI的风险管理，无法照搬闭源的方案。

核心差异来源于两个结构性变化

第一，开放发布是单向的、不可逆的，权重发布后就难以再收回。

第二，权重一旦公开，开发者便失去了用户与模型交互的接口控制权，也很难追踪下游使用情况，许多闭源场景下的核心管控手段（如KYC、访问限制、部署运行监测等）无法再起作用。

WAIC 2026上，安远AI和上海人工智能实验室迭代发布了2.0版本的《前沿人工智能风险管理框架》，而这份《开放权重框架》是在前者基础上开发的配套文件：针对“开放权重发布”这一场景，甄别哪些一般性的风险管理方案可能失效，并给出替代方案。

针对性调整贯穿前述风险管理的六个阶段

1

风险识别环节

需要关注开放权重会放大哪些既有风险、带来哪些新风险。

闭源模式下，模型怎么用、问题出在哪，开发者通常可以掌握；而开放权重模式下，模型发布后的去向和影响都难以追踪。

《开放权重框架》围绕“滥用风险”和“意外风险”分析了潜在的新增风险点，例如资源充足恶意行为者的门槛被降低，模型被篡改，安全护栏被削弱，基座模型缺陷扩散等。

与此同时，风险识别边界需要保持动态调整，持续研判开放权重是否对其他类型风险识别的新挑战。

2

风险阈值环节

门槛往往需要更加保守，同时增加对“社会韧性”的评估。

闭源模型可以依靠内置护栏和访问限制吸收一部分风险，因而能承受更高的阈值；开放权重模式下，风险管理的责任链条会向下游传导，同样的两用能力，在开放权重场景下被滥用且无人拦截的概率更高。

因此，同一条风险阈值，开放权重模型会更早触发。同时，对于风险阈值的设定，《开放权重框架》在部署环境、威胁源、使能能力之外，新增了社会韧性维度：一个社会能承受多少风险，取决于其防御体系能否跟上模型能力开放后的扩散速度。

3

风险分析环节

评估对象不仅局限于“发布时点的模型”，也需要考虑“权重所能释放的能力上限”。

闭源模型尚可以预设安全对齐与防护措施的有效性，按照提供者限定的运行场景评估风险；开放权重模型则必须充分考虑下游具备充足资源的主体可能开展的各类微调操作，包括恶意微调可能引发的最坏情况。

此外，《开放权重框架》引入了“边际风险”分析的视角：提倡以现有工具（如搜索引擎）与闭源前沿模型为基准，更精准地测算开放发布带来的增量风险。

4

风险评价环节

最大的差异集中在“黄区”。

闭源场景下，黄区风险可以靠访问限制、受控部署来管理；权重公开后，这些方式不再有效，剩余风险几乎完全取决于安全训练面对下游微调时的可靠性，这意味着开放权重模型的剩余风险评估带有更大的不确定性。

此时，核心问题往往不在于“是否发布”，而是“如何发布”：通过什么渠道、发布什么内容、按照什么节奏，这些都会影响剩余风险的评估。

5

风险缓解环节

防线需要前移，同时需要扩展。

闭源模型的许多风险缓解措施依赖开发者层面的管控措施；权重发布后，由于部署层面的管控手段不再适用，风险缓解的关键节点向开发前端转移。

训练数据治理是当前最有效的防护手段，模型从未习得的能力，下游主体无法重新激活。

与此同时，风险防控范围拓展至整个产业生态，抗篡改性微调、模型溯源、权重水印等技术手段，以及分发平台层面的生态级准入管控，成为开发者之外的主要防控抓手。

6

风险治理环节

参与主体从单一开发者扩到整个生态。

闭源场景下，治理抓手与责任大量集中在开发者层面。

权重发布后，治理的组织单元不再是一家企业，而是涵盖模型提供方、托管平台、下游部署方等一系列角色，各自占据不同位置、握有不同抓手。

这也呼应了TC260《人工智能安全治理框架3.0》从“开源生态安全的视角强化安全措施的思路。

如何使用《开放权重框架》

模型开发者

可以对照风险分类和阈值，识别主要风险，并在模型开发全周期开展风险评估，匹配相应强度的防护措施；也可以参考不同发布渠道的适用条件，根据模型的实际风险等级，选择最合适的开放方式。

AI应用部署方

可以依托《开放权重框架》给出的风险区判定逻辑，评估自身所用开放权重模型的风险等级，针对性落地访问控制、内容过滤、运行监测等部署端管控手段，把风险控制在应用环节。

下游使用者

包括二次开发者、终端用户在内的下游参与者，可以参考《开放权重框架》中的风险提示和实践指引，在基于开放权重模型做微调、场景适配、业务集成时，主动避开高风险操作，规范自身的使用行为。

政策制定者

可以把《开放权重框架》作为制定开放权重AI相关规则与标准的参考，为界定各参与主体的安全责任、完善生态层面的治理机制提供研究层面的支撑。

AI安全研究者

可以依托《开放权重框架》的风险分类与证据基础，把开放权重场景的特有风险转化为研究议题，开展评估与防护技术攻关；也可以将研究发现反馈回框架，推动阈值随证据动态更新。

共建开放与安全的平衡路径

开放权重AI的治理是一个持续演进、多方共建的过程。

2024年中关村论坛“通用人工智能论坛”，安远AI联合北京大学人工智能研究院、北京大学武汉人工智能研究院、北京通用人工智能研究院，共同发布了《基础模型的负责任开源——超越开源闭源的二元对立: 负责任开源的内涵、实践与方案》报告，从安全治理的角度分析AI开源的主要争论，系统性梳理了各国在开源AI治理上的政策取向，并建议超越开源闭源的二元对立，推动并建议负责任开源的务实方案。

我们也希望这份《开放权重框架》能在此基础上提供更进一步的实践参照，并和各方一起继续探索开放与安全的平衡路径，共同推动开放权重人工智能治理的科学研究与实践落地。

报告链接：

英文版：

https://concordia-ai.com/research/frontier-open-weight-ai-risk-management-framework/

中文版：

https://concordia-ai.com/zh-hans/research/frontier-open-weight-ai-risk-management-framework/ 

本文由 Hugging Face 中文社区内容共建项目提供，稿件由社区成员投稿，经授权发布于 Hugging Face 公众号。文章内容不代表官方立场，文中介绍的产品和服务等均不构成投资建议。了解更多请关注公众号

如果你有与开源 AI、Hugging Face 相关的技术和实践分享内容，以及最新的开源 AI 项目发布，希望通过我们分享给更多 AI 从业者和开发者们，请通过下面的链接投稿与我们取得联系: https://forms.gle/EW3zqZi9fJR8CGNVA