注意力机制

定义

注意力机制是神经网络的一个组件，允许模型在生成每个输出元素时关注输入的不同部分。"自注意力"允许模型将序列中的每个 token 与其他所有 token 关联。这是 Transformer 架构的关键创新，也是 LLM 能够理解文本中长程依赖关系的原因。