在大语言模型LLM中，注意力机制是最重要的模块，不管多大的模型，不管多大的变化，本质上都是多个自注意力层的堆叠。理解了注意力之后，我们将在模型层面上对大模型不再陌生。
Attention是如何计算的
上一篇文章讲到了，我们将文本切分成一个个token后，通过查词嵌入矩阵将token转化成了向量，在Qwen2中向量的维数3584维；为简化计算，我们假设token向量的维数为4维，下图为计算演示。
attention的目标是在预测当前token时，我们用整个句子中的token（编码后向量）的加权平均值表示。如何计算这个值呢，我们先将token的向量转化为，Q(查询)，K(键)，V(值)三个向量。然后在计算时，我们用当前token的Q与其它token的K计算相似度score，最后把所有token的score*V的值相加，就是得到加权平均值啦。
比如：我 爱 人工智能，三个token，下面是计算score的过程：
上面就是attention计算过程的简单描述，形式上就是做这个计算，具体包含一些优化的细节，这里不做介绍。大家有没有发现，这样计算相同的token在不同位置好像贡献没有差别哦，“我 爱 ai，我 爱 人工智能“，这两个”爱“计算出来的结果一样，为了区别所以加入了位置编码，同时位置编码也是约束大模型处理长度的重要因素，感兴趣的可以交流哦。
多头自注意力
有了注意力，为什么要有个多头注意力啊？其实就跟人类评价一个食物一样，会从视觉、嗅觉、味觉上多个方面评价，因此注意力可不可以有多个角度呢，后面验证了从多个角度处理确实可行。具体是怎么做的呢？
在Qwen-7B中，隐藏层的维数是3584，把它却分成28份，每份128维；将他们分别做上节介绍的attention加权平均得到28个128维的新向量；再拼接起来就又是3584维了，这样就做了多头注意力操作，是不是很简单。
Qwen2-7B中自注意力模块有多少参数
上一篇文章中，我们计算出了Qwen2-7B中词嵌入矩阵的参数量，这篇文章中，我们来看一下其自注意力模块包含多少参数。首先我们给出其配置文件：
{"architectures": ["Qwen2ForCausalLM"],"attention_dropout": 0.0,"auto_map": {"AutoModel": "modeling_qwen.Qwen2Model","AutoModelForCausalLM": "modeling_qwen.Qwen2ForCausalLM","AutoModelForSequenceClassification": "modeling_qwen.Qwen2ForSequenceClassification"},"bos_token_id": 151643,"eos_token_id": 151643,"hidden_act": "silu","hidden_size": 3584,"initializer_range": 0.02,"intermediate_size": 18944,"max_position_embeddings": 131072,"max_window_layers": 28,"model_type": "qwen2","num_attention_heads": 28,"num_hidden_layers": 28,"num_key_value_heads": 4,"rms_norm_eps": 1e-06,"rope_theta": 1000000.0,"sliding_window": 131072,"tie_word_embeddings": false,"torch_dtype": "float32","transformers_version": "4.41.2","use_cache": true,"use_sliding_window": false,"vocab_size": 151646}
比较重要的参数是隐藏层维度、attention中间层维数，隐藏层层数，分别为如下参数hidden_size:3584, intermediate_size:18944, num_hidden_layers: 28, num_key_value_heads：4,num_attention_heads: 28
Qwen2-7B大体采用的是左边这一半流程，attention(注意力) + Feed Forward(扩维再降维的线性变换)
# Qwen2Attentionself.num_heads = config.num_attention_heads # 28self.head_dim = self.hidden_size // self.num_heads # 128self.num_key_value_heads = config.num_key_value_heads # 4self.q_proj = nn.Linear(self.hidden_size, self.num_heads * self.head_dim, bias=True)self.k_proj = nn.Linear(self.hidden_size, self.num_key_value_heads * self.head_dim, bias=True)self.v_proj = nn.Linear(self.hidden_size, self.num_key_value_heads * self.head_dim, bias=True)self.o_proj = nn.Linear(self.num_heads * self.head_dim, self.hidden_size, bias=False)
可以看出，有四个参数：q_proj, k_proj, v_proj, o_proj，前三个是用在将token向量映射为attention的输入，最后一个是将attention的输出做映射，这些操作都是为了增加语义表示，参数量qo相同kv相同，因此参数量为(还有3个bias)：
2*3584*(28*128)+ 2*3584*(4*128)+(3584+2*4*128)= 29364736
# Qwen2MLPself.gate_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)self.up_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)self.down_proj = nn.Linear(self.intermediate_size, self.hidden_size, bias=False)
这一部分只是将上一步的输出，先扩维再降维，具体计算过程我们不关心，他有三个参数gate_proj，up_proj，down_proj, 前两个是用来升维的，后一个是用来降维的，把维数控制在3584，所以参数量为：
3*3584*18944=203685888
由于有28层堆叠，那么attention总共的参数量就是：
28*（29364736+203685888）=6525417472
即attention总共有6.52B参数，上一篇文章介绍词嵌入有0.54B参数，总共就是7.06B参数。
Qwen2-7B的参数就是这样构成的，虽然有70亿这么多，但是理解了它的结构后，就能把握里面参数的构成，简单说就是几个大矩阵在进行变化，并不神秘。
如果对内容有什么疑问和建议可以私信和留言，也可以添加我加入大模型交流群，一起讨论大模型在创作、RAG和agent中的应用
欢迎关注我的公众号“哎呀AIYA”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的叙述，不简单的内涵，提升自己。
推荐阅读
