Transformer 架构

定义

Transformer 是 2017 年论文《Attention Is All You Need》提出的神经网络架构，使用自注意力机制并行处理序列，使大规模语言模型的训练成为可能。几乎所有现代 LLM——GPT、Claude、Gemini、Llama——都基于 Transformer。该架构也被适配用于图像、音频和多模态任务。