专家混合模型

每次仅激活部分容量的模型架构

定义

专家混合模型（MoE）是一种神经网络架构，模型包含许多专业子网络（"专家"），但每个输入 token 只激活其中的一小部分。这使模型能够拥有非常大的总参数量，同时保持计算效率。Mixtral 和 GPT-4 据报道使用了 MoE 架构。