知识蒸馏：把大模型能力迁移到小模型
热点事件持续更新
知识蒸馏：把大模型能力迁移到小模型
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
知识蒸馏让小型学生模型学习大型教师模型的输出概率、推理步骤乃至中间层特征，从而把大模型能力迁移到小模型上。 以 DeepSeek-R1 为例，其生成的推理数据经筛选后用于对 Qwen、Llama 等基础模型做监督微调，训练出 1.5B、7B、14B 等参数规模的蒸馏模型。这些模型显存需求更低，配合量化可运行在笔记本和手机上，但能力仍受自身规模与数据质量限制。
AI 根据报道生成 · 52 分钟前更新
最新进展11月8日 14:49
如何把“学霸大脑”塞进手机？一文读懂大模型知识蒸馏报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- 博客园 · 10 天推荐排行榜如何把“学霸大脑”塞进手机？一文读懂大模型知识蒸馏
知识蒸馏通过让小型学生模型学习大型教师模型的输出概率、推理步骤乃至中间层特征，把大模型能力迁移到小模型上。以 DeepSeek-R1 为例，其生成的推理数据经筛选后用于对 Qwen、Llama 等基础模型做监督微调，训练出 1.5B、7B、14B 等参数规模的蒸馏模型。这些模型显存需求更低，配合量化可运行在笔记本和手机上，但能力仍受自身规模与数据质量限制。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。