今天是整活时间，我要挑战用8GB显存GPU跑Llama 3.1 405B模型！
Llama 405B模型有820GB! 是8GB显存的103倍！
完全放不下，怎么搞呢？太难了！
01
4bit量化
首先，我们用4-bit量化技术，把16-bit浮点数变成4-bit，节省4倍内存。
量化之后，所有的浮点数都会被分配到4个bit，也就是16个桶之一。深度神经网络的浮点数可以表达的范围从：-3.40282347E+38 to 3.40282347E+38，这么多的浮点数，都用这16个桶之一来表达，这靠谱吗？
特别靠谱。
首先最重要的是保证这些参数的数值均匀的分布到这16个桶中。
一般情况下这是绝对做不到的。不均匀就会有很大的精度损失。
好在深度神经网络的参数一般都是服从正态分布的。因此只需要做一个简单的变换就可以保证理论上绝对的均匀分布。
当然，服从统计分布，不意味着没有一些特殊情况异常值，所谓的outlier。
比如我的存款就叫正态分布，马斯克的存款就叫outlier。
那我们只需要用一些专门的存储空间，把这些outlier异常值特殊记录下来就好了。这就是所谓的outlier-dependent量化。
经过大量的实验验证，4bit量化对于大语言模型的精度几乎没有任何损失。（甚至有的情况下精度更高了！）
经过了一轮丧心病狂的4bit量化，LLama 405B的模型大小已经缩小到了230GB，距离加载到我的8GB显卡已经《不远了》。
02
分层推理
达成挑战第二个魔法是分层推理。
其实transformer的结果推理过程只需要一层一层的加载模型就可以。不需要整体将模型全部加载到内存。
Llama 405B的模型在层数上只增加了50%，到126层。
但是向量维数增加了一倍，多头注意力头数也增加了一倍，因此每层的参数量大概来到了原来的4倍。
逐层加载并推理，最多的显存占用大概只需要5GB。
挑战达成！
03
开源项目AirLLM
和某些大佬的看法不太一样，我的观察是，AI行业各个大模型的差距在快速接近。用什么模型差异已经不大。
越来越多的公司会愿意采用开源模型，并且自己部署大模型，保证可以根据业务需要灵活的调整配置。
本人也是开源坚定的拥护者，相信AI的未来一定也是属于开源的。
这个方法已经也更新到我的开源项目AirLLM， (https://github.com/lyogavin/airllm)。大家都可以使用。
pip安装：
pip install airllm
然后只需要几行代码：
from airllm import AutoModelmodel = AutoModel.from_pretrained（"unsloth/Meta-Llama-3.1-405B-Instruct-bnb-4bit")input_text = ['What is the capital of United States?',]input_tokens = model.tokenizer(input_text,return_tensors="pt",return_attention_mask=False,truncation=True,max_length=128,padding=False)generation_output = model.generate(input_tokens['input_ids'].cuda(),max_new_tokens=10,return_dict_in_generate=True)output = model.tokenizer.decode(generation_output.sequences[0])print(output)
