hi~
这几天都在忙项目的事，这个系列，加速干完！
前两篇，雄哥基于llama3，做了大模型微调+MoE模型合并！
许多小朋友留言，问，本地算力不够，如何量化？
网上的量化模型都有什么区别？想系统学！
临时加餐！
今天，雄哥会把常见的量化方案，一边跑实践，一边讲基础方式！
挑战一天干完这个系列！
天很蓝，抱着笔电，坐在石桌上，快哉！
整个系列是这样的：
day3：手把手量化大模型！有什么方法？什么是量化？【本篇】
day4：手把手GPTQ量化大模型！有什么区别？优势？
day5：手把手GGML量化大模型！与llama.cpp异曲同工？
day6：手把手使用ExLlamaV2量化！精炼后的GPTQ？
在野外，没有算力，全程使用colab免费算力完成！所有代码同步上传会员盘，仅意友圈成员专享！目前420+付费成员！
获取知识星球优惠，或遇到问题需解答！或加群？末尾找技术助手小胖！
如果你还未加入，在这里备注申请！
学AI应该是一件非常开心的事，见证时代，无论你是否加入，一定持续学下去！肯定会遇到问题，别放弃！
人的专注力只有10分钟！那，话不多说！
① 主流量化的技术有哪些流派？
② 浮点数表示的背景，是什么影响算力资源？
③ 跑一个量化实例！边跑边聊细节！
整个系列是这样的，大模型系列更完，我们做RAG，做本地数据化处理！
第一部分：主流量化技术有哪些？
两大主流！
训练后量化(PTQ)：最简单技术！把已训练的模型权重转为低精度，无需重新训练！算力要求低，易于实现！但模型性能会下降！#后天减肥副作用
量化感知训练(QAT)：在预训练或微调阶段结合权重转换过程，增强模型性能！QAT的计算成本很高，需要具有高质量训练数据！#从小keep好身材
本篇！雄哥会用PTQ方法来实践！
先不对比GPTQ、GGML、EXL2！后面跑完了，雄哥再总结，更深刻！
第二部分：什么影响计算资源？
为什么要量化？
是什么影响了大模型需要的资源？
不得不科普，就是！
浮点数表示！
数据类型决定了所需的计算资源量，直接影响模型运行速度+效率！
在深度学习应用，平衡精度和性能，一直很重要！更高精度意味着要吃更多算力！
在多种数据类型中，由于浮点数能够以高精度表示广泛的值，因而在深度学习中得到应用！
一个浮点数使用位来存储数值。这些位进一步被划分为三个不同的部分：
符号位：符号位指示数字的正负性质。它使用一个位，其中0表示正数，1表示负数。
指数：指数是一段位，表示基数的幂（在二进制表示中通常是2）。指数可以是正数或负数，允许数字表示非常大或非常小的值。
尾数/有效数字：剩余的位用于存储尾数，也称为有效数字。这表示数字的显著位数。数值的精度在很大程度上取决于尾数的长度。
表示公式为：
便于理解，跟着雄哥深入！
深度学习中一些最常用的数据类型：
float32 （FP32）、float16 （FP16） 、 bfloat16 （BF16）
FP32/用32位表示1个数字：
1位用于符号，8位用于指数，其余 23位用于有效数！1+8+23=32！高精度！意味着 FP32需要超高算力和内存占用！
FP16/用16位表示1个数字：
1 位用于符号，5 位用于指数，10 位用于有效数！这种省内存+加快推理速度，但不稳定性，影响模型性能！
BF16/用16位表示1个数字：
符号有 1 位，指数有 8 位，有效数有 7 位。与 FP16 相比，BF16 扩大了可表示范围，从而降低下溢和溢出风险！虽然有效位较少而导致精度降低，但 BF16 通常不会显着影响模型性能，并且是深度学习任务的有用折衷方案。
说再多，不如一张图，示意如下：
FP32 通常被称为“全精度”（4 字节），而 BF16 和 FP16 是“半精度”（2 字节）
那，有没有可能用单个字节存储权重？
YES！
INT8 ！
稍后，跟着雄哥跑起来！将 FP32 权重转换为 INT8 ！
第三部分：跑一个实例，边跑边聊细节！
在本节中，我们将实现两种量化技术：
绝对最大值(absmax)量化：量化对称技术！
零点量化：非对称技术！
不管哪种！目标都是映射 FP32 张量 ?（原始权重）到 INT8 张??uant（量化权重）！
3.1 绝对最大值量化(absmax)
原始数字除以张量的绝对最大值，乘以比例因子 （127），将输入映射到范围内 [-127， 127]。为了检索原始 FP16 值，将 INT8 数字除以量化因子，确认由于舍入而导致的精度损失！
假设最大值为 3.2。权重 0.1 将被量化为round(0.1 x 127/3.2)=4，我们会得到4/ 127/3.2=0.008，这意味着误差为 0.008！
Python实现：
import torchdef absmax_quantize(X):# 计算比例scale = 127 / torch.max(torch.abs(X))# 量化X_quant = (scale * X).round()X_dequant = X_quant / scalereturn X_quant.to(torch.int8), X_dequant
3.2 零点量化
有了零点联网！我们可以考虑不对称的输入分布，输入值首先按值的总范围 （255） 除以最大值和最小值之间的差值进行缩放！
然后，该分布将偏移零点，以将其映射到范围 [-128， 127]
（注意！对比一下 absmax 的值）
首先，我们计算比例因子和零点值：
然后，用这些变量来量化或去量化权重：
Python实现：
def zeropoint_quantize(X):# 计算值范围（分母）x_range = torch.max(X) - torch.min(X)x_range = 1 if x_range == 0 else x_range# 计算缩放比例scale = 255 / x_range# 通过零点进行移位zeropoint = (-scale * torch.min(X) - 128).round()# 缩放并四舍五入输入X_quant = torch.clip((X * scale + zeropoint).round(), -128, 127)# 逆量化X_dequant = (X_quant - zeropoint) / scalereturn X_quant.to(torch.int8), X_dequant
3.3 跑起来吧！
看再多，不如动起手来！
首先，你在会员盘下载雄哥上传的代码，把他上传到colab即可！
如果不知道怎样上传，自己查下攻略，难不倒你！
本地跑的朋友，同样的，你配置好本地环境，然后打开jupyter！在这里配！
第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！4/45
话不多说！跑起来！
我们首先加载 GPT-2 的模型和分词器，这是一个非常小的模型，你可以换其他的！或者你本地的！
后面雄哥还要跑其他实践，节省时间，就用它示例！
先安装依赖！
!pip install -q bitsandbytes>=0.39.0!pip install -q git+https://github.com/huggingface/accelerate.git!pip install -q git+https://github.com/huggingface/transformers.git
先看看模型GPT2的模型信息！大小！
看到->模型大小: 510,342,192 字节
from transformers import AutoModelForCausalLM, AutoTokenizerimport torchtorch.manual_seed(0)# 暂时将设备设置为CPUdevice = 'cpu'# 加载模型和分词器model_id = 'gpt2'model = AutoModelForCausalLM.from_pretrained(model_id).to(device)tokenizer = AutoTokenizer.from_pretrained(model_id)# 打印模型大小print(f"模型大小: {model.get_memory_footprint():,} 字节")
使用上面介绍的两种方法量化模型！
# 提取第一层的权重weights = model.transformer.h[0].attn.c_attn.weight.dataprint("原始权重:")print(weights)# 使用absmax量化方法量化层weights_abs_quant, _ = absmax_quantize(weights)print("\nAbsmax量化后的权重:")print(weights_abs_quant)# 使用零点量化方法量化层weights_zp_quant, _ = zeropoint_quantize(weights)print("\n零点量化后的权重:")print(weights_zp_quant)
来吧，现在开始量化！
import numpy as npfrom copy import deepcopy# 存储原始权重weights = [param.data.clone() for param in model.parameters()]# 创建模型以进行量化model_abs = deepcopy(model)# 量化所有模型权重weights_abs = []for param in model_abs.parameters():_, dequantized = absmax_quantize(param.data)param.data = dequantizedweights_abs.append(dequantized)# 创建模型以进行量化model_zp = deepcopy(model)# 量化所有模型权重weights_zp = []for param in model_zp.parameters():_, dequantized = zeropoint_quantize(param.data)param.data = dequantizedweights_zp.append(dequantized)
这里，雄哥为了对比原始权重和量化后的权重相差，做了一个图，这里不展开，我们让原始的模型和量化后的两个模型，都生成对话，看看质量！
# 使用原始模型和量化模型生成文本original_text = generate_text(model, "I have a dream")absmax_text = generate_text(model_abs, "I have a dream")zp_text = generate_text(model_zp, "I have a dream")print(f"Original model:\n{original_text}")print("-" * 50)print(f"Absmax model:\n{absmax_text}")print("-" * 50)print(f"Zeropoint model:\n{zp_text}")
有点奇怪！原始模型的生成，反而比量化后的还差些！
不科学！你可以多试几组！
雄哥在代码的后面，又跑了另外一个int8的量化方案，篇幅原因，这里不介绍！
下一篇，我们用GPTQ的方法来量化模型！
加群+遇到问题，需要知识星球优惠券，联系技术助手-小胖！
