如果你还在看如何用ollama在本地部署DeepSeek这样的入门级文章，那是时候来看看高级一点的玩法了！
ollama确实很适合新手小白，但是如果你看到的文章标题号称“企业级”还在教你下载ollama，那你可以直接拉黑那个文章作者了，确信无疑是在误人子弟和蹭热点。不会有哪个“企业”真的用ollama在生产环境部署大模型服务。
好了，进入正题！
既然是薅羊毛，就得找到这只羊，这次，我们选腾讯云。腾讯云最近推出的Cloud Studio 高性能计算空间，每个月可以用10000分钟。
“夺少？？”
“一万分钟！！”
系统还提供了一大堆常用的框架模板可供选择。
这里，也有ollama，你肯定也看到过一些介绍Cloud Studio的文章，教你用这里的ollama模板来部署，当然这也能用。
但是如果只到这一步，还完全没有达到薅羊毛的目的。大部分人是不可能用完这1万分钟的，或者，真的有大量需求的时候，ollama的推理速度慢导致的1万分钟都不够用。没有达到我们羊毛党的高标准高要求。
这时候，如果你再点一下“新建”按钮会发现，还可以创建一个空间。
这时候就有一个大胆的idea出现了！
一个空间是16GB的显存，那两个空间岂不是32GB了！
能否让两个空间一起运行，但是对外就提供一个接口来使用，这样对于使用者客户端来说，就是同一个服务，不需要在客户端做路由选择，也不需要在服务端增加负载均衡。
这时候就要使用真正企业级的推理框架了，本次我们选择vllm，最新版的vllm已经更新到0.7.1了，对DeepSeek也有了更好的支持。
不管使用的是哪个模板 ，都具备较为完整的CUDA环境和python环境，我们要做的就很简单，一条安装vllm的命令即可
pip3 install vllm "ray[serve]" requests
当然，启动的两个空间都做相同的操作，包括下载的模型位置也要一样。至于怎么下载模型，我相信你已经在海量的蹭热度的文章里学会了。
至此，准备环境结束，接下来要做的是让他们都运行起来！
因为有两台机器，我们把其中一台定为header，另一台定为worker。随便选一台，可以抛硬币来决定。
在head机器上运行
ray start --head
在另一台机器上运行，这里的10.x.x.x的IP地址，是head的IP地址，没有外网地址，是内网地址
ray start --address='10.x.x.x:6379' --num-gpus=1
这时候在head机器上运行命令查看ray集群状态
ray status
应该可以看到两个节点了。也能从dashboard页面看到信息。
接下来就可以在head机器上启动DeepSeek模型了！激动人心的时刻到了！
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --distributed-executor-backend ray
指定vllm使用的分布式后端是ray，不是默认的python。
这时候从ray的dashboard页面，就可以看到两个节点都有任务启动了。
调用一下大模型的chat接口试试看，同时观察dashboard上GPU的占用率情况。大功告成！
