模型蒸馏

定义

模型蒸馏是一种通过训练小模型来模仿更大"教师"模型行为来创建更小、更快模型的技术。较小的"学生"模型从较大模型的输出而非原始训练数据中学习，使其能够以更小的规模和成本捕获大量知识。许多通过 API 提供的高效模型都是更大模型的蒸馏版本。