前文我升了 CUDA、部署了 DeepSeek-OCRDeepSeek-OCR 本地部署（上）：CUDA 升级 12.9，vLLM 升级至最新稳定版
DeepSeek-OCR 本地部署（下）：vLLM 离线推理，API 重写，支持本地图片、PDF 解析重写的 API 也支持 PaddleOCR-VL本地部署 PaddleOCR，消费级显卡轻松跑，支持本地图片和 PDF 文件
然后腾讯也来了：大模型 OCR 的黄金时代，腾讯开源混元 OCR，文档解析、视觉问答和翻译方面达到 SOTA，文中我提到想等等看新版 vLLM 来了再部署
可是看到 N 多同学部署失败，还有 HunyuanOCR 到底需要多少显存可以跑起来有点疑问。
前文我就提到，可能是官方文档写错了现存和磁盘空间，当时写的是需要 80GB 显存
后来修改成了 20GB
安装及模型启动 - 官方教程
我没有使用官方教程，感觉。。。太麻烦了
1 是失败概率蛮高，依赖太多，安装环境不能用 pip，必须使用 uv
2 是我是在离线环境部署，所以下面方式对我无效
uv venv hunyuanocr
source hunyuanocr/bin/activate
uv pip install -U vllm --pre --extra-index-url https://wheels.vllm.ai/nightly
模型启动就简单了，只要前面 vLLM 安装顺利，下面就几乎不会出问题
出问题，大概率是 CUDA 版本太低造成的，建议 12.9 以上，毕竟未来 vLLM 0.11.1 之后版本默认就要 12.9 起步了
下载好 HunyuanOCR 模型文件后正常启动就行
# 模型启动-官方教程
vllm serve tencent/HunyuanOCR \
--no-enable-prefix-caching \
--mm-processor-cache-gb 0 \
--gpu-memory-utilization 0.2
安装及模型启动 - 我的方式
最省心，省事儿，离线最友好的方式必须是 Docker
第一步，拉取 vllm/vllm-openai 官方镜像，选最近的一个 nightly 即可
docker pull vllm/vllm-openai:nightly
第二步，保存镜像到内网，如果本机测试那就没这一步了
第三步，启动模型，核心参数和官方教程没啥区别
docker run --rm --runtime=nvidia --name Hunyuan-ocr --ipc=host --gpus '"device=1"' -p 5000:8000 -v /data/llm-models:/models vllm/vllm-openai:nightly
--model /models/HunyuanOCR --port 8000 --no-enable-prefix-caching --mm-processor-cache-gb 0
我的显卡是 24GB 的 4090
模型只占 1.9GB，其他都是 KV cache 占用
官方教程中的模型调用貌似也不太友好啊，我还是用了为 DeeoSeekOCR 写的 API，简单修改后依然很好用
速度飞快，5 页的 PDF 也是秒秒钟搞定
回到最开始问题，启动模型加上参数 --gpu-memory-utilization 0.66，也就是 16GB 启动模型，依然是 OK 的
而且速度丝毫没有下降
