LLama3 & GPT-5
当我们回顾Transformer三大变体的第一阶段发展历程时，一个不容忽视的事实是：Decoder-Only结构似乎在这场竞赛中脱颖而出，赢得了初步的胜利。
Transformer
Transformer遵循编码器-解码器总体架构，使用堆叠的自注意力机制和逐位置的全连接层，分别用于编码器和解码器，如图中的左半部分和右半部分所示。
Transformer架构
编码器-解码器架构
编码器 - 解码器架构
Transformer模型：将整个Transformer模型视为一个黑盒，在机器翻译任务中，它可以将句子从一种语言翻译成另一种语言。
打开这个黑盒，左边是N个编码器，右边是N个解码器，Transformer中的N为6。
详细了解看这篇：神经网络算法 - 一文搞懂Encoder-Decoder（编码器-解码器）
Transformer的编码器与解码器的本质区别
Transformer的编码器与解码器的本质区别：在于Self-Attention的Mask机制。
Encoder负责将输入序列转换为隐藏表示，通过多层自注意力和全连接层，捕捉序列中所有位置的依赖关系，无需使用Mask。
Decoder生成输出序列，利用Encoder输出和已生成部分序列作为输入。在Decoder的Self-Attention中，使用Mask防止当前位置受到未来信息影响，确保生成顺序和准确性。
详细了解看这篇：神经网络算法 - 一文搞懂Transformer中的三种注意力机制
编码器
Transformer中的编码器部分一共6个相同的编码器层组成。
每个编码器层都有两个子层，即多头自注意力层(Multi-Head Self-Attention)层和前馈神经网络(Feed-Forward Network)。
在每个子层后面都有残差连接（图中的虚线）和层归一化（LayerNorm）操作，二者合起来称为Add&Norm操作。
Transformer的编码器
解码器
Transformer中的解码器部分同样一共6个相同的解码器层组成。
每个解码器层都有三个子层，即因果自注意力层(Masked Self-Attention)、交叉注意力（Encoder-Decoder Attention）、前馈神经网络（Feed Forward）。
同样，在每个子层后面都有残差连接（图中的虚线）和层归一化（LayerNorm）操作，二者合起来称为Add&Norm操作。
Transformer的解码器
Transformer的三大变体
Transformer的三大变体：Decoder-Only专注生成文本，Encoder-Only擅于分析文本，Encoder-Decoder融合编解码实现文本生成和文本分析。
Transformer的三大变体
蓝色分支Decoder-Only模型：随着时间的推移，越来越多的Decoder-Only模型被推出，如LLama、GPT等，显示了这一分支的活跃度和发展势头。
Decoder-Only模型
Decoder-Only模型就如同一位即兴演讲者。你为他提供一个话题或者一个开头，比如“未来城市的模样”，他便能根据这个引子，滔滔不绝地展开演讲，描述出他心中的未来城市景象，直至演讲结束。
模型特点：擅长创造性写作，具备出色的文本生成能力。它能够根据已有信息，灵活扩展出新颖、连贯的内容，如自动生成文章、续写故事等。
典型代表：OpenAI GPT、Meta LLama，用于文本生成，通过捕捉文本中的语言模式和风格，使生成的文本更加自然、流畅。
OpenAI GPT
Meta LLama
Encoder-Only模型
Encoder-Only模型则像是一个侦探，它接收一段文字或信息（案件线索），然后深入解析、理解其内在含义（破案）。
模型特点：擅长分析和理解文本，捕捉文本中的关键信息，如情感、主题或实体。这种模型在文本分类、情感分析、信息抽取等任务中表现出色。
典型代表：Google BERT，用于处理输入数据，专注于理解和编码信息，而不是生成新的文本。
Google BERT
Encoder-Decoder模型
模型特点：结合了编码与解码的功能，能够同时处理输入和输出序列，并在两者之间建立有效的联系，擅长文本生成和文本分析。
Encoder部分：负责文本分析，将输入序列（源语言文本）转化为一个固定长度的内部表示，这个表示包含了输入序列的所有关键信息。
Decoder部分：负责文本生成，根据这个内部表示来生成目标序列（目标语言文本）。
清华 GLM
