蒸馏

Distill-R1：结合强化学习与在线师生蒸馏改进视觉语言模型训练

EM7m4/Distill-R1 · Combine reinforcement learning with online teacher-student distillation to improve vision-language model training using a dedicated teacher model.

Distill-R1 探索将强化学习与在线 teacher-student 蒸馏相结合，借助专门的教师模型来改进视觉语言模型的训练。仓库 README 仅给出项目名称，未提供更多实现细节。

Chip Huyen 讲解如何在不更换硬件的情况下降低推理成本

Chip Huyen 在 P99 大会上分享降低 LLM 推理成本的思路，将优化分为模型优化与服务优化两大类：前者通过量化和蒸馏改变模型权重，后者通过批处理、调度与请求复用提升推理服务效率，并提醒蒸馏需注意模型许可限制。