“ 近期国内外都流行一股DeepSeek-R1部署热，大家都纷纷在自己的本地主机上面尝试着部署满血版本的DeepSeek-R1。然而，要部署一个完整的版本的DeepSeek-R1在本地，大概需要16张A800，大概会花费200百万左右的成本。产业界苦671B的大模型已久，希望能有一些低成本的满血版671B DeepSeek部署方案。小编今天给大家推荐一个框架-KTransformers，它支持在单台（24GB VRAM）/多gpu和382G DRAM上的Deepseek-R1和V3，速度提升3~28倍。这可能是很多朋友一直在寻找的东西吧，感兴趣的尽快收藏。”
项目主页-https://github.com/kvcache-ai/ktransformers/tree/main
代码链接-https://github.com/kvcache-ai/ktransformers/tree/main
01-DeepSeek-R1部署痛点梳理
近期国内外都流行一股DeepSeek-R1部署热，大家都纷纷在自己的本地主机上面尝试着部署满血版本的DeepSeek-R1。然而，要部署一个完整的版本的DeepSeek-R1在本地，大概需要16个A800，大概会花费200百万左右的成本。这高昂的部署成本直接劝退了很多人，然而仍然有一些财大气粗的公司花费了巨额资本部署了满血版本的DeepSeek-R1。
02-ktransformers框架简介
2025年2月10日：支持单台（24GB VRAM）/多gpu和382G DRAM上的Deepseek-R1和V3，速度高达3~28倍。
2024年8月28日：在InternLM2.5-7B-Chat-1M模型下支持1M上下文，使用24GB VRAM和150GB DRAM。详细教程在这里。
2024年8月28日：将DeepseekV2所需的VRAM从21G降低到11G。
2024年8月15日：更新注射和多GPU的详细教程。
2024年8月14日：支持llamfile作为线性后端。
2024年8月12日：支持多GPU；支持新型号：mixtral8*7B和8*22B；在gpu上支持q2k、q3k、q5k等数量。
内存: 标注 DDR5-4800 server DRAM (1 TB)
模型: DeepseekV3-q4km (int4)
本地671B DeepSeek-Coder-V3/R1：仅使用14GB VRAM和382GB DRAM运行其Q4_K_M版本。
除此之外，作者还提供了即将推出的优化预览，包括英特尔AMX加速内核和选择性专家激活方法，这将显著提高性能。使用V0.3-preview，作者实现了高达286个令牌/秒的预填充，使其比llama.cpp的局部推理快28倍。具体的wheel文件-。
06-ktransformers框架上手指南
# 步骤1-利用wget将.wh文件下载到本地wget https://github.com/kvcache-ai/ktransformers/releases/download/v0.1.4/ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl# 步骤2-安装.whl文件pip install ktransformers-0.3.0rc0+cu126torch26fancy-cp311-cp311-linux_x86_64.whl# 步骤3-执行推理python -m ktransformers.local_chat --model_path <your model path> --gguf_path <your gguf path> --prompt_file <your prompt txt file> --cpu_infer 65 --max_new_tokens 1000 <when you see chat, then press enter to load the text prompt_file>
基于上面的策略，如果使用了4比特量化方式，在GPU上面的参数只需24GB的显存，而一张4090刚好可以满足这个需求。
07.02-引入高性能的CPU与GPU算子
该团队使用llamafile来完成CPU算子的推理，利用expert等多种并行优化技术。除此之外，还利用到负载均衡、多线程、任务调度、NUMA感知等多种优化技巧。
07.03-优化基于计算强度的offload策略
在实际的计算中，Expert与MLA具有不同的计算强度，相差的倍数在数千左右。为了解决该问题，该团队通过利用计算强度来决定具体的划分策略，具体按照MLA > Shared Expert > Routed Expert的方法将计算强度高的放入GPU中进行计算，直到GPU中放满为止！
07.04-改进并优化CUDA Graph
