Huggingface · Community Articles· Sergio Paniego·2026-11-03 20:42· 2 天前AI 评分67

MOPD 如何把多个 RL 专家合并成一个模型，以及如何用 TRL 实现

MOPD: how frontier labs merge RL experts into one model and how to do it using TRL

AI 导读

TRL 现已支持 MOPD（多教师在线策略蒸馏），AsyncDistillationTrainer 可按 teacher_id 把每条 prompt 路由到对应的专家教师，同步版 DistillationTrainer 的支持正在 #7215 中推进。