Chip Huyen 讲解如何在不更换硬件的情况下降低推理成本

Chip Huyen 在 P99 大会上分享降低 LLM 推理成本的思路，将优化分为模型优化与服务优化两大类：前者通过量化和蒸馏改变模型权重，后者通过批处理、调度与请求复用提升推理服务效率，并提醒蒸馏需注意模型许可限制。