TRL 新增 MOPD 多教师蒸馏训练支持

Hugging Face 的 TRL 现已支持 MOPD（多教师在线策略蒸馏）：AsyncDistillationTrainer 可按 teacher_id 把每条 prompt 路由到对应的专家教师，从而把多个强化学习专家合并成一个模型。同步版 DistillationTrainer 的支持尚未落地，报道称正在 #7215 中推进。 配套示例脚本为 TRL examples 中的 async_distillation_mopd.py。示例采用数学、代码和指令遵循三类专家，是因为 Open-MOPD 发布了这些专家；作者称用户可替换为自己的教师。该示例布局是作者测试过的，实际运行取决于硬件条件。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。