Transformer
以注意力机制组织序列信息的神经网络架构，让模型根据上下文关联不同位置的内容，是理解语言模型的重要基础。
如何理解
Transformer 通过注意力机制计算序列中不同位置之间的联系，使一个位置的表示能够结合其他位置的信息。原始架构用于机器翻译，以注意力机制替代循环和卷积来处理序列关系。
架构规定信息如何计算，训练则决定模型从数据中学到什么。采用 Transformer 的模型可以有不同训练目标和结构变体，因此仅凭架构名称，不能判断模型能否对话或擅长哪些任务。
容易混淆的地方
Transformer 是架构，不是某一个产品，也不等同于大语言模型。注意力权重也不应直接当作模型推理过程的完整解释。