如何把“学霸大脑”塞进手机？一文读懂大模型知识蒸馏

知识蒸馏通过让小型学生模型学习大型教师模型的输出概率、推理步骤乃至中间层特征，把大模型能力迁移到小模型上。以 DeepSeek-R1 为例，其生成的推理数据经筛选后用于对 Qwen、Llama 等基础模型做监督微调，训练出 1.5B、7B、14B 等参数规模的蒸馏模型。这些模型显存需求更低，配合量化可运行在笔记本和手机上，但能力仍受自身规模与数据质量限制。