deepseek满血版昇腾显卡部署指南，网上有很多相关的教程，但是实际操作下来发现有非常多的坑，这里记录一下部署的流程，希望给国产化部署的朋友一些帮助。
现在各大平台好多提供了deepseek-r1满血版的推理服务，在网上看到一个比较有意思的检测
是否满血的prompt，可以试一下
测试一下deepseek官方的回答：
再看一下使用昇腾部署的回答：
昇腾官方有出一个部署指南，本文也是参考该教程进行的，虽然有很多槽点，但是依然是一个不错的参考。
模型权重https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3
第一步是模型权重的下载，对于满血版R1这个庞然大物，如果网速不够快，下载起来还是非常麻烦的，我尝试了多个下载渠道，最终使用了魔乐社区，峰值速度达80M/s，全部下载完也就一小时左右，速度非常可观。可以看一下官方的介绍，所言非虚，推荐使用。
https://modelers.cn/updates/zh/modelers/20250213-deepseek%E6%9D%83%E9%87%8D%E4%B8%8B%E8%BD%BD/
下载的时候需要导入一个白名单，否则自定义位置报错
from openmind_hub import snapshot_download
snapshot_download(
repo_id="State_Cloud/DeepSeek-R1-origin",
local_dir="xxx",
cache_dir="xxx",
local_dir_use_symlinks=False,
)
然后就是权重转换了，需要将FP8的转成FP16，可以使用昇腾里DeepSeek-V3的权重转换脚本
DeepSeek-R1在转换前权重约为640G左右，在转换后权重约为1.3T左右，记得提前规划好存储的位置，避免中断。
另外这里提一下，在部署的时候，有遇到一个错误，就是加载权重的时候，好像对软链接不支持，因此这里在下载的时候，可以关闭软链接，设置参数local_dir_use_symlinks=False即可。
对于昇腾机器的的要求，BF16的R1需要至少需要4台Atlas 800I A2（8*64G）服务器，W8A8量化版本则至少需要2台Atlas 800I A2 (8*64G) ， 我在部署的时候使用的是量化版本，用的是两台Atlas 800T A2
如果不想经过上述的权重转换步骤，又需要部署W8A8的量化版本，可以直接下载社区里转换好的权重，下载量已经到了6k+，可以使用。
下载后的模型权重，需要管理一下权限，方便后续读取：
chown -R 1001:1001 /path-to-weights/DeepSeek-R1
chmod -R 750 /path-to-weights/DeepSeek-R1
昇腾官方出了可以直接部署的镜像，方便开发者一键启动
镜像链接：https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f
目前提供的MindIE镜像预置了DeepSeek-R1模型推理脚本，无需再下载模型代码
这里的镜像需要申请，通过后才能下载
执行命令：
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts
拉取镜像后，需要启动容器，可以使用下面的命令，与官方教程有些区别
docker run -itd --privileged --name=deepseek-r1 --net=host \
--shm-size 500g \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device /dev/devmm_svm \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/bin/hccn_tool:/usr/bin/hccn_tool \
-v /usr/local/sbin:/usr/local/sbin \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
-v /etc/hccn.conf:/etc/hccn.conf \
-v xxxxxx/DeepSeek-R1-weight:/workspace \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.T3-800I-A2-py311-openeuler24.03-lts \
bash
--name 容器名， -v 挂载下载好的模型
其中需要注意的地方在于，把下载好模型权重的位置，挂载到容器中，可以放到workspace目录下，这样后面部署的时候，就可以使用了
其它的挂载盘都是常规的驱动或者工具，确保本地可以正常运行，一般是没问题的
多台服务器部署，每台服务器下载同样的模型权重，位置可以不同，但是都需要执行上述启动容器的命令，把挂载盘换一下
进入容器
启动好容器之后，接下来的操作都默认在容器中
首先便是进入容器，假设上述容器名字为deepseek-r1
docker exec -it deepseek-r1 bash
容器检查
进入容器之后，先检查一下机器的网络情况，如果有问题，可以先查一下本机是否正常 如果本机正常，容器内有问题，那应该是有些目录没有挂载好，可以问下G老师或者D老师
# 检查物理链接
for i in {0..7}; do hccn_tool -i $i -lldp -g | grep Ifname; done
# 检查链接情况
for i in {0..7}; do hccn_tool -i $i -link -g ; done
# 检查网络健康情况
for i in {0..7}; do hccn_tool -i $i -net_health -g ; done
# 查看侦测ip的配置是否正确
for i in {0..7}; do hccn_tool -i $i -netdetect -g ; done
# 查看网关是否配置正确
for i in {0..7}; do hccn_tool -i $i -gateway -g ; done
# 检查NPU底层tls校验行为一致性，建议全0
for i in {0..7}; do hccn_tool -i $i -tls -g ; done | grep switch
# NPU底层tls校验行为置0操作
for i in {0..7};do hccn_tool -i $i -tls -s enable 0;done
配置多机多卡文件
这个文件比较关键，配置好之后，后续的MindIE推理框架也会参考这个进行启动，不需要再额外设置
配置起来也比较简单，使用这个命令，把每张卡的ip地址记录下来
for i in {0..7};do hccn_tool -i $i -ip -g; done
每台机器都执行一次，其中，确定一台主节点
server_count：一共使用几台服务器，即节点数。server_list中第一个server为主节点 device_id：当前卡的本机编号，取值范围[0, 本机卡数) device_ip：当前卡的ip地址，可通过hccn_tool命令获取 rank_id：当前卡的全局编号，取值范围[0, 总卡数) server_id：当前节点的ip地址 container_ip：容器ip地址（服务化部署时需要），若无特殊配置，则与server_id相同
查看服务器的ip地址
hostname -I
查看docker容器的ip地址
docker inspect 容器id | grep "IPAddress"
如果返回为空，可能是使用和宿主机一样的网络，查看容器的网络模式
docker inspect 容器id | grep -i '"NetworkMode"'
如果返回为 "NetworkMode": "host", 则说明容器使用的是 host 网络，它没有自己的 IP，而是直接用 宿主机 IP。
下面是两个节点的配置文件，对着填好ip地址即可
{
"server_count": "2",
"server_list": [
{
"device": [
{"device_id": "0", "device_ip": "xxxx", "rank_id": "0"},
{"device_id": "1", "device_ip": "xxxx", "rank_id": "1"},
{"device_id": "2", "device_ip": "xxxx", "rank_id": "2"},
{"device_id": "3", "device_ip": "xxxx", "rank_id": "3"},
{"device_id": "4", "device_ip": "xxxx", "rank_id": "4"},
{"device_id": "5", "device_ip": "xxxx", "rank_id": "5"},
{"device_id": "6", "device_ip": "xxxx", "rank_id": "6"},
{"device_id": "7", "device_ip": "xxxx", "rank_id": "7"}
],
"server_id": "xxxx",
"container_ip": "xxxx"
},
{
"device": [
{"device_id": "0", "device_ip": "xxxx", "rank_id": "8"},
{"device_id": "1", "device_ip": "xxxx", "rank_id": "9"},
{"device_id": "2", "device_ip": "xxxx", "rank_id": "10"},
{"device_id": "3", "device_ip": "xxxx", "rank_id": "11"},
{"device_id": "4", "device_ip": "xxxx", "rank_id": "12"},
{"device_id": "5", "device_ip": "xxxx", "rank_id": "13"},
{"device_id": "6", "device_ip": "xxxx", "rank_id": "14"},
{"device_id": "7", "device_ip": "xxxx", "rank_id": "15"}
],
"server_id": "xxxx",
"container_ip": "xxxx"
}
],
"status": "completed",
"version": "1.0"
}
开启通信环境变量
export ATB_LLM_HCCL_ENABLE=1
export ATB_LLM_COMM_BACKEND="hccl"
export HCCL_CONNECT_TIMEOUT=7200
export WORLD_SIZE=32
export HCCL_EXEC_TIMEOUT=0
权重目录下config.json文件，将 model_type 更改为 deepseekv2 (全小写且无空格)
精度测试
官方给的精度测试例子，与我下载的镜像中的目录对不上，并且执行full_CEval的测试也会报错，缺少文件 modeltest路径，在镜像中的实际位置是：/usr/local/Ascend/atb-models/tests/modeltest
测试命令：
# 需在所有机器上同时执行
bash run.sh pa_bf16 [dataset] ([shots]) [batch_size] [model_name] ([is_chat_model]) [weight_dir] [rank_table_file] [world_size] [node_num] [rank_id_start] [master_address]
性能测试
性能测试是在同样的目录下，但是是可以执行成功的
运行命令
bash run.sh pa_bf16 performance [[256,256]] 16 deepseekv2 /path/to/weights/DeepSeek-R1 /path/to/xxx/ranktable.json 16 2 0 {主节点IP}
# 0 代表从0号卡开始推理，之后的机器依次从8，16，24。
跑完会生成一个csv文件，里面保存了本次测试的指标，比如
参数解释：
Batch size，批次大小 输入序列长度（In_seq） 输出序列长度（Out_seq） 总耗时（Total time） 首 token 生成耗时（First token time） 非首 token 平均生成耗时（Non-first token time） 非首 token 吞吐率（Throughput） 端到端吞吐率（E2E Throughput）
推理部署
上述的两个测试都是可选的，性能测试可以跑一下，调一下bs，看看能跑出什么样的效果
启动前需要配置一下容器，每个容器都执行一下：
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export MIES_CONTAINER_IP=容器ip地址
export RANKTABLEFILE=rank_table_file.json路径
export OMP_NUM_THREADS=1
export NPU_MEMORY_FRACTION=0.95
注意，上述的路径是指容器内的路径，并且每台机器的ip都要对应正确
执行完后，每台机器都要对应修改服务化参数，即部署的参数配置
因为这个文件是在容器中，需要用vim修改，比较麻烦，这里推荐一个方法
将该文件复制一份到宿主机上，使用的命令是：
docker cp 镜像id:/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json /本地目录
这样，你可以在宿主机上进行修改json文件，方便快捷，因为每台机器都是一样的配置，因此，修改好后，每台机器复制一份就可以了。 改完之后，需要在传回到镜像中，使用
docker cp 本地目录/config.json 容器id:/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json
这样就完成了配置文件的修改，这个配置文件后续需要调整，这种方式省去了很多麻烦
下面是官方给的配置，如果想要部署的模型推理更快或者输入输出更长，都需要对应的调整该文件的参数，这部分暂时没有什么好的建议，目前我设置的是32k，可以正常部署起来，推理速度还可以
详细的参数介绍参考这个
https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0285.html
{
"Version" : "1.0.0",
"LogConfig" :
{
"logLevel" : "Info",
"logFileSize" : 20,
"logFileNum" : 20,
"logPath" : "logs/mindie-server.log"
},
"ServerConfig" :
{
"ipAddress" : "改成主节点IP",
"managementIpAddress" : "改成主节点IP",
"port" : 1025,
"managementPort" : 1026,
"metricsPort" : 1027,
"allowAllZeroIpListening" : false,
"maxLinkNum" : 1000, //如果是4机，建议300
"httpsEnabled" : false,
"fullTextEnabled" : false,
"tlsCaPath" : "security/ca/",
"tlsCaFile" : ["ca.pem"],
"tlsCert" : "security/certs/server.pem",
"tlsPk" : "security/keys/server.key.pem",
"tlsPkPwd" : "security/pass/key_pwd.txt",
"tlsCrlPath" : "security/certs/",
"tlsCrlFiles" : ["server_crl.pem"],
"managementTlsCaFile" : ["management_ca.pem"],
"managementTlsCert" : "security/certs/management/server.pem",
"managementTlsPk" : "security/keys/management/server.key.pem",
"managementTlsPkPwd" : "security/pass/management/key_pwd.txt",
"managementTlsCrlPath" : "security/management/certs/",
"managementTlsCrlFiles" : ["server_crl.pem"],
"kmcKsfMaster" : "tools/pmt/master/ksfa",
"kmcKsfStandby" : "tools/pmt/standby/ksfb",
"inferMode" : "standard",
"interCommTLSEnabled" : false,
"interCommPort" : 1121,
"interCommTlsCaPath" : "security/grpc/ca/",
"interCommTlsCaFiles" : ["ca.pem"],
"interCommTlsCert" : "security/grpc/certs/server.pem",
"interCommPk" : "security/grpc/keys/server.key.pem",
"interCommPkPwd" : "security/grpc/pass/key_pwd.txt",
"interCommTlsCrlPath" : "security/grpc/certs/",
"interCommTlsCrlFiles" : ["server_crl.pem"],
"openAiSupport" : "vllm"
},
"BackendConfig" : {
"backendName" : "mindieservice_llm_engine",
"modelInstanceNumber" : 1,
"npuDeviceIds" : [[0,1,2,3,4,5,6,7]],
"tokenizerProcessNumber" : 8,
"multiNodesInferEnabled" : true,
"multiNodesInferPort" : 1120,
"interNodeTLSEnabled" : false,
"interNodeTlsCaPath" : "security/grpc/ca/",
"interNodeTlsCaFiles" : ["ca.pem"],
"interNodeTlsCert" : "security/grpc/certs/server.pem",
"interNodeTlsPk" : "security/grpc/keys/server.key.pem",
"interNodeTlsPkPwd" : "security/grpc/pass/mindie_server_key_pwd.txt",
"interNodeTlsCrlPath" : "security/grpc/certs/",
"interNodeTlsCrlFiles" : ["server_crl.pem"],
"interNodeKmcKsfMaster" : "tools/pmt/master/ksfa",
"interNodeKmcKsfStandby" : "tools/pmt/standby/ksfb",
"ModelDeployConfig" :
{
"maxSeqLen" : 10000,
"maxInputTokenLen" : 2048,
"truncation" : true,
"ModelConfig" : [
{
"modelInstanceType" : "Standard",
"modelName" : "deepseekr1",
"modelWeightPath" : "/home/data/dsR1_base_step178000",
"worldSize" : 8,
"cpuMemSize" : 5,
"npuMemSize" : -1,
"backendType" : "atb",
"trustRemoteCode" : false
}
]
},
"ScheduleConfig" :
{
"templateType" : "Standard",
"templateName" : "Standard_LLM",
"cacheBlockSize" : 128,
"maxPrefillBatchSize" : 8,
"maxPrefillTokens" : 2048,
"prefillTimeMsPerReq" : 150,
"prefillPolicyType" : 0,
"decodeTimeMsPerReq" : 50,
"decodePolicyType" : 0,
"maxBatchSize" : 8,
"maxIterTimes" : 1024,
"maxPreemptCount" : 0,
"supportSelectBatch" : false,
"maxQueueDelayMicroseconds" : 5000
}
}
}
启动服务
启动命令也比较简单
cd /usr/local/Ascend/mindie/latest/mindie-service
nohup ./bin/mindieservice_daemon > /workspace/output.log 2>&1 &
这里最好是把启动服务的命令挂后台，这样能查看日志，否则关闭终端后，虽然服务不掉，但是日志是找不到了，不方便debug
执行命令后，首先会打印本次启动所用的所有参数，然后直到出现以下输出：
Daemon start success!
则认为服务成功启动。
到这里可以认为是部署成功了，还有最后一步的测试：
curl -X POST http://{ip}:{port}/v1/chat/completions \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-d '{
"model": "DeepSeek-R1",
"messages": [{
"role": "user",
"content": "你好"
}],
"max_tokens": 20,
"presence_penalty": 1.03,
"frequency_penalty": 1.0,
"seed": null,
"temperature": 0.5,
"top_p": 0.95,
"stream": true
}'
注意，官方教程里是没有开启HTTPS通信，后续调用的时候用http，而不是https
使用https需要配置开启HTTPS通信所需服务证书、私钥等证书文件
以上能看到输出，就算是部署成功了
最后是适配OpenAI式的推理接口，可以参考
https://www.hiascend.com/document/detail/zh/mindie/10RC3/mindieservice/servicedev/mindie_service0076.html
有些槽点不得不提：
整个部署流程基本按照官方教程来的，但是一步一坑，各种稀奇古怪的问题，主要还找不到日志，容器里的目录翻了一遍，没有几个能看到实质性报错的内容，一般可以从/root/mindie下找到一些。 网上也很少能搜到对应的问题，部署帖子如果能有个讨论的空间就好了，方便避坑
另外就是，这教程写的有些地方对不上（可能是我操作不对），很奇怪。比如测试的目录，刚开始很困惑，检查了数遍才在另外的目录下找到
还有一些问题，排查不出来，最后找华为老师解决的，还是很感谢快速的支持，希望国产越来越好。
部署问题，加载tokenizer失败 解决方式：检查tokenizer.json 文件是否和官网一致，并且检查一下权限，是否能正常读取
还遇到一个问题，比如下面这个
只看日志，好像也看不出是什么原因，最终的解决方案是：升级驱动！
有类似问题是hccn 导致的，升级到24.1.0很多问题就自然的解决了，遇到难以解决的问题，不要怀疑自己..
cann 不用升级，只需升级昇腾NPU固件和驱动
选择欧拉系统，注意，这里可以选择800I A2推理服务器，推理速度更快
下载完这两个文件，正常按照流程安装即可
https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/800alpha003/softwareinst/instg/instg_0004.html?Mode=PmIns&OS=Ubuntu&Software=cannToolKit
