写在前面：
市场上用于部署满血671B的h20机器，一台的价格差不多一百二三十万，这个价格对于很多用户来说是一个很大的挑战。在AI落地如火如荼的当下，想办法降低算力使用成本是快速拥抱AI时代的优先选项。老王研究了市场上的不少方案，并结合工作实践，推荐一个性价比不错的选择，只需花H20(141G)一半的钱就可以实现企业级环境下的fp8精度671B满血能力。
(文章较长，耐心看完有惊喜哦 
)
一、硬件系统需求
二、Ubuntu 22.04 Server版系统安装流程
本步骤过于简单，此处不再赘述 
可参考：Ubuntu22.04 系统安装及配置
https://blog.csdn.net/cheagoun/article/details/139808169
三、KLLM一键化安装部署
补充说明：
a.KLLM是清华大学MADSys团队开发的高性能大模型推理引擎。（年初火爆全网的KTransformers就是这个团队的杰作）。
b.KLLM分为开源版与商业版两个版本，火爆全网的KTransformers属于开源版，开源版仅适用于个人；若想在企业级环境中使用，得商业版才行。
具体步骤：
1、从正规渠道获取商业版的软件安装包后，将安装包放入移动硬盘 （本次安装包为：zhiwen-20250625_1520.tar.gz） 可联系老王获取商业版软件包
2、插入安装部署的移动硬盘，以sdb1为例
3、使用命令查看移动硬盘是否插入
lsblk
4、将移动硬盘挂载到系统中
sudo mkdir -p /mnt/usb
sudo mount /dev/sdb1 /mnt/usb
5、复制安装包和模型到系统中
sudo mkdir -p /mnt/data/deploy
sudo mkdir -p /mnt/data/models
sudo cp -r /mnt/usb/zhiwen-20250625_1520.tar.gz /mnt/data/deploy/
sudo cp -r /mnt/usb/models/* /mnt/data/models/
6、安装部署，等待执行完成之后即可
cd /mnt/data/deploy/20250625_1520
sudo bash install.sh
四、镜像更新
下载最新安装包，并解压到/mnt/data/deploy目录。
cd /mnt/data/deploy
# 进入上一次的安装目录执行命令停止服务
sudo docker-compose -f docker-compose.yaml --env-file conf/config.env down
# 在进入新解压目录执行命令进行更新
sudo bash install.sh -u
五、服务检查
1、KLLM启动模型
在KLLM启动模型：
(KLLM支持20+模型部署，除了FP8精度的671B，还有不同精度的其他模型，如DeepSeek32B的int4、int8等多种精度部署)
填写到下面的高级设置中：
1.1、模型所需显存数量粗略计算
fp16 = 模型参数量 * 2 + 10G （比如14B模型全量，需要14 * 2 + 10 = 38 G）所以需要两张4090显卡
fp8 = 模型参数量 + 10G （比如32B-int8，需要 32 + 10 = 42 G）所以也需要两张4090显卡
1.2、查看模型最后支持的上下文长度
进入路径：/mnt/data/deploy/logs/ames/serve
并执行
ls -alh
2、跑671B FP8的实际测试数据 
六、其他注意点
1、NVIDIA 显卡开启关闭ECC
（针对48G卡，只显示46G显存的情况）
• 查看ECC情况：
nvidia-smi -q -d ecc
关闭状态如下图，否则图中的“N/A”是有值的。
• 开启关闭ECC
通过nvidia-smi -i n -e 0/1
-i：第n号GPU的ECC模式
-e：可关闭(0)/开启(1)
重启后该设置生效
示例:
关闭ECC：nvidia-smi -i 0 -e 0
开启ECC：nvidia-smi -i 0 -e 1
2、Ubuntu 22.04 版本内核禁止升级操作步骤
在Ubuntu 22.04上禁止内核自动升级，步骤如下：
• 禁用unattended-upgrades
“unattended-upgrades”是一个用于安装安全更新的软件包。要禁用它，首先打开“/etc/apt/apt.conf.d/20auto-upgrades”文件：
vi /etc/apt/apt.conf.d/20auto-upgrades
将其中的“Unattended-Upgrade "1"; ”改为“Unattended-Upgrade "0";”以禁用自动更新，然后保存文件并退出。
APT::Periodic::Update-Package-Lists "1";
APT::Periodic::Unattended-Upgrade "0";
• 将当前内核版本锁定
要禁止特定的内核版本更新，您可以使用“apt-mark”命令将其锁定。
首先，检查当前的内核版本：
uname -r
例如，如果内核版本是“5.15.0-136-generic”，您需要锁定所有与此版本相关的软件包。可执行以下命令：
sudo apt-mark hold linux-image-5.15.0-136-generic linux-headers-5.15.0-136-generic linux-modules-5.15.0-136-generic linux-modules-extra-5.15.0-136-generic
查看是否锁定版本成功，显示hold表示锁定成功
dpkg --get-selections | grep linux-image
• 禁用自动更新
要禁用所有自动更新，首先打开“/etc/apt/apt.conf.d/10periodic”文件：
vi /etc/apt/apt.conf.d/10periodic
修改文件以将所有选项设置为“0”：
APT::Periodic::Update-Package-Lists "0"；
APT::Periodic::Download-Upgradeable-Packages "0"；
APT::Periodic::AutocleanInterval "0"；
APT::Periodic::Unattended-Upgrade "0"；
保存文件并退出。
执行完以上步骤后，您的Ubuntu 22.04系统将不会自动升级内核
