近日，清华大学MADSys团队正式开源了面向资源受限环境的KTransformers算法框架。基于该框架的技术特性，用户可以在一张4090显卡的设备中部署满血671B的Deepseek。老王看到这个消息非常兴奋，因为这意味着只需要几万块钱就可以实现原本需要百万才能实现的“满血梦”。
老王在工作之余，赶紧找了一台设备，实际操练一下，先实现自己的“满血梦”。
同时，我把我自己的部署过程记录了下来，供大家参考学习。
1、硬件配置
系统 | openEuler22.03 (LTS-SP1) |
显卡 | 1*4090 |
内存 | 512GB |
2、部署ktransformer
a.参考以下文件安装环境
https://kvcache-ai.github.io/ktransformers/en/install.html#id_666
i.编译gcc/g++ ，安装conda环境
# Adding CUDA to PATH
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_PATH=/usr/local/cuda
# 编译ktransformer
sudo dnf update
sudo dnf install gcc g++ cmake ninja-build
# 创建conda环境，推荐使用python3.11版本
conda create --name ktransformers python=3.11
conda activate ktransformers
pip install torch packaging ninja cpufeature numpy
ii.遇到服务器拉取github的网络问题，可以先clone到本地，执行init和update后，然后打包上传到服务器
git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
git submodule init
git submodule update
iii.根据linux的服务器配置，主要是内存是否大于1TB，执行不同的安装步骤
# 内存小于1TB
bash install.sh
# 内存大于1TB的情况下
export USE_NUMA=1
bash install.sh # or `make dev_install`
iv.ktransformer需要flash atten的支持，必须安装
pip install flash_attn
b.模型下载
推荐使用别人已经量化好的模型（INT4精度/R1全参数量化版本）
（若需执行自定义量化流程，请参考附录A-量化实验记录章节）
i.直接下载
1.在服务器上下载GGUF的模型权重，国内推荐从huggingface镜像网站或者modelscope网站下载
2.https://hf-mirror.com/unsloth/DeepSeek-R1-GGUF
3.https://www.modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
export HUGGINGFACE_HUB_TIMEOUT=600
# 下载量化模型
huggingface-cli download --local-dir /usr/share/ollama/deepseek-R1-GGUF unsloth/DeepSeek-R1-GGUF --include "DeepSeek-R1-Q4_K_M/*"
# 下载R1的tokenizer.json,config等文件
huggingface-cli download --local-dir /usr/share/ollama/DeepSeek-R1 deepseek-ai/DeepSeek-R1 --exclude "*.msgpack" "*.onnx" "*.bin" "*.ot" "*.h5" "*.safetensors"
下载记录(此处省略一万字
)
ii.执行以下命令，启动ktransformer
export CUDA_VISIBLE_DEVICES=6
python -m ktransformers.local_chat --model_path /usr/share/ollama/DeepSeek-R1 --gguf_path /usr/share/ollama/deepseek-R1-GGUF/DeepSeek-R1-Q4_K_M
# 多GPU
export CUDA_VISIBLE_DEVICES=4,5,6,7
python -m ktransformers.local_chat --model_path /usr/share/ollama/DeepSeek-R1 --gguf_path /usr/share/ollama/deepseek-R1-GGUF/DeepSeek-R1-Q4_K_M --max_new_tokens 4096 --optimize_rule_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-4.yaml
各个参数的中文解释：
–model_path (必需)：模型的名称（例如“deepseek-ai/DeepSeek-V2-Lite-Chat”，它会自动从 Hugging Face 下载配置文件）。如果您已经有本地文件，可以直接使用该路径来初始化模型。注意：目录中不需要.safetensors文件，只需要配置文件即可用来构建模型和分词器。
–gguf_path (必需)：包含 GGUF 文件的目录路径，这些文件可以从 Hugging Face 下载。注意该目录应该只包含当前模型的 GGUF 文件，也就是说，每个模型需要一个独立的目录。
–optimize_rule_path (必需，除了 Qwen2Moe 和 DeepSeek-V2)：包含优化规则的 YAML 文件路径。ktransformers/optimize/optimize_rules 目录下已经预写了两个规则文件，分别用于优化 DeepSeek-V2 和 Qwen2-57B-A14，这两个是当前的最先进 MoE 模型。
–max_new_tokens：整数（默认值=1000）。生成的最大新令牌数。
–cpu_infer：整数（默认值=10）。推理时使用的 CPU 核心数。理想情况下应设置为（总核数 - 2）。
3.测试
a.单GPU，每秒4个token
Chat: 强化学习 会使用gpu吗
嗯，用户问的是强化学习会不会使用GPU。首先，我需要确认强化学习的基本概念，以及GPU在其中的作用。强化学习属于机器学习的一个分支，主要用于训练智能体通过与环境互动来学习策略。传统的机器学习很多都会用到GPU加速，尤其是深度学习，因为GPU在处理矩阵运算上比CPU快很多。
接下来，我需要考虑强化学习的不同应用场景。比如，如果用的是传统的Q-learning或者SARSA这类表格型方法，可能不需要GPU，因为它们的计算量不大，主要依赖CPU处理。但如果是结合了深度学习的强化学习方法，比如深度Q网络（DQN）、策略梯度方法（PPO）或者Actor-Critic框架，这时候神经网络模型训练就需要大量矩阵运算，GPU的优势就显现出来了。
然后，用户可能想知道具体在哪些情况下会用到GPU。例如，当处理高维状态空间（如图像输入）时，使用卷积神经网络来处理这些输入，这时候GPU加速训练过程就非常关键。另外，像模拟环境，比如机器人控制或者游戏AI（如AlphaGo），可能需要大量的并行模拟，这时候GPU甚至TPU可能会有帮助。
还要考虑用户可能的背景。如果用户是刚开始学习强化学习，可能对硬件需求不太清楚，或者担心是否需要投资GPU资源。这时候需要说明，虽然GPU可以加速训练，但入门阶段的小规模问题用CPU就够了，等到处理复杂问题时再考虑GPU。
另外，用户可能想知道是否有替代方案，比如云计算平台或者训练。这时候可以
prompt eval count: 12 token(s)
prompt eval duration: 2.265155792236328s
prompt eval rate: 5.297648859795519 tokens/s
eval count: 300 token(s)
eval duration: 65.83381295204163s
eval rate: 4.556928826506569 tokens/s
b.多GPU，4*4090，每秒4.5个token
Chat: 介绍下思腾合力
好的，用户让我介绍一下思腾合力。首先，我需要确认思腾合力的基本信息，比如公司背景、主营业务、产品服务、市场定位等。可能还需要了解他们的核心技术、合作伙伴、行业地位以及发展历程。
用户可能是想了解这家公司是否可靠，或者考虑合作、求职，或者只是好奇。需要判断用户的需求层次，是表面的概述还是深入的技术细节。如果用户没有特别说明，应该提供全面的信息，涵盖公司介绍、产品服务、技术优势、应用场景等。
接下来，我需要查找思腾合力的相关资料。可能他们的官网、新闻报道、行业报告都是信息来源。需要确保信息的准确性和时效性，比如公司成立时间、最新动态、主要成就等。同时要注意是否有不同来源的信息矛盾，需要交叉验证。
思腾合力可能专注于某个领域，比如人工智能、云计算、大数据等。需要明确他们的核心业务，是否有自主研发的技术，或者主要提供解决方案。例如，他们可能提供AI服务器、云计算平台，或者行业定制化解决方案。
还要考虑他们的客户和合作伙伴，是否有知名企业或政府机构合作案例，这能体现公司的实力和信誉。此外，公司的发展历程中的重要事件，比如融资、上市、重大合作项目，也是值得提及的。
技术优势方面，是否有专利、认证，或者独特的技术架构。例如，是否在AI芯片、算法优化、数据处理等方面有创新。应用场景方面，他们的产品和服务适用于哪些行业，如金融、医疗、教育、智能制造
prompt eval count: 10 token(s)
prompt eval duration: 2.409355401992798s
prompt eval rate: 4.150487716228547 tokens/s
eval count: 300 token(s)
eval duration: 66.46189308166504s
eval rate: 4.513864804172446 tokens/s
附录A：自己转换gguf，然后进行量化的尝试步骤
a.使用llamacpp进行转换https://github.com/ggml-org/llama.cpp/blob/master/examples/quantize/README.md
b.转换满血671B的R1权重失败，即llamacpp不支持满血R1的GGUF转换，所以也没法执行后续的量化步骤，建议直接拉取huggingface上量化好的模型
(llamacpp) [root@localhost llama.cpp]# python3 convert_hf_to_gguf.py /usr/share/ollama/DeepSeek-R1 --outfile /usr/share/ollama/zxy/r1_gguf --outtype bf16
INFO:hf-to-gguf:Loading model: DeepSeek-R1
INFO:gguf.gguf_writer:gguf: This GGUF file is for Little Endian only
INFO:hf-to-gguf:Exporting model...
INFO:hf-to-gguf:gguf: loading model weight map from 'model.safetensors.index.json'
INFO:hf-to-gguf:gguf: loading model part 'model-00001-of-000163.safetensors'
INFO:hf-to-gguf:token_embd.weight, torch.bfloat16 --> BF16, shape = {7168, 129280}
INFO:hf-to-gguf:blk.0.attn_norm.weight, torch.bfloat16 --> F32, shape = {7168}
INFO:hf-to-gguf:blk.0.ffn_down.weight, torch.float8_e4m3fn --> BF16, shape = {18432, 7168}
Traceback (most recent call last):
File "/root/llama.cpp/convert_hf_to_gguf.py", line 5112, in <module>
main()
File "/root/llama.cpp/convert_hf_to_gguf.py", line 5106, in main
model_instance.write()
File "/root/llama.cpp/convert_hf_to_gguf.py", line 439, in write
self.prepare_tensors()
File "/root/llama.cpp/convert_hf_to_gguf.py", line 4142, in prepare_tensors
super().prepare_tensors()
File "/root/llama.cpp/convert_hf_to_gguf.py", line 298, in prepare_tensors
for new_name, data_torch in (self.modify_tensors(data_torch, name, bid)):
File "/root/llama.cpp/convert_hf_to_gguf.py", line 4139, in modify_tensors
return [(self.map_tensor_name(name), data_torch)]
File "/root/llama.cpp/convert_hf_to_gguf.py", line 214, in map_tensor_name
raise ValueError(f"Can not map tensor {name!r}")
ValueError: Can not map tensor 'model.layers.0.mlp.down_proj.weight_scale_inv'
c.llamacpp转换qwen2_7B为gguf是成功的。
INFO:gguf.vocab:Adding 151387 merge(s).
INFO:gguf.vocab:Setting special token type eos to 151645
INFO:gguf.vocab:Setting special token type pad to 151643
INFO:gguf.vocab:Setting special token type bos to 151643
INFO:gguf.vocab:Setting chat_template to {% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system
You are a helpful assistant.<|im_end|>
' }}{% endif %}{{'<|im_start|>' + message['role'] + '
' + message['content'] + '<|im_end|>' + '
'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
' }}{% endif %}
INFO:hf-to-gguf:Set model quantization version
INFO:gguf.gguf_writer:Writing the following files:
INFO:gguf.gguf_writer:/data/share/qwen2_7B_ins_gguf: n_tensors = 339, total_size = 15.2G
Writing: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15.2G/15.2G [04:08<00:00, 61.4Mbyte/s]
INFO:hf-to-gguf:Model successfully exported to /data/share/qwen2_7B_ins_gguf
d.使用昇腾的量化代码，是可以转换r1的权重的
(vllm) [root@localhost NPU_inference]# python fp8_cast_bf16.py --input-fp8-hf-path /usr/share/ollama/DeepSeek-R1 --output-bf16-hf-path /usr/share/ollama/DeepSeek-R1-bf16
9%|███████████████▌ | 15/163 [03:37<31:49, 12.91s/it]
e.unsloth提供一个转成gguf的工具，感兴趣可以尝试
https://docs.unsloth.ai/basics/running-and-saving-models/saving-to-gguf
结论：
KTransformers是为个人准备的；企业级环境需要根据并发数和具体场景确定推理服务器的配置。
