量化

让大型 AI 模型更小更快

定义

量化是一种模型压缩技术，降低模型权重的精度（例如从 32 位浮点数到 4 位整数），使模型更小更快，同时质量损失最小。量化模型可以在笔记本电脑和手机等消费级硬件上运行，这也是 Ollama 等工具能够本地运行强大模型的原因。