按官网要求，在部署vLLM之前首先要保证Python的版本在3.12及以上，gcc版本在12以上，并且一般需要安装Anaconda，用于做Python环境隔离，上述过程不再赘述。从魔塔社区下载模型https://modelscope.cn/models/Qwen/QwQ-32B/files耐心等待吧，我这边下载了两三个小时才下载完 sudo modelscope download --model Qwen/QwQ-32B --local_dir /home/data-local/qwq-32b完了，报错了
执行 UDA_VISIBLE_DEVICES=0 vllm serve --model /home/data-local/qwq-32b --served-model-name QWQ-32B --port 8000 报错 改为 CUDA_VISIBLE_DEVICES=0 vllm serve /home/data-local/qwq-32b --served-model-name QWQ-32B --port 8000 这次可以了
CUDA_VISIBLE_DEVICES=0 vllm serve /home/data-local/DeepSeek-R1-Distill-Qwen-7B --served-model-name Qwen-7B --port 8000 curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d '{ "model": "QWQ-32B", "prompt": "你好", "max_tokens": 100}'
from openai import OpenAI# 初始化客户端（添加api_key参数）client = OpenAI( base_url="http://172.19.66.132:8000/v1", api_key="dummy" # 虚拟密钥:ml-citation{ref="1" data="citationList"})# 调用模型生成文本response = client.completions.create( model="Qwen-1.5B", prompt="如何部署大语言模型？", max_tokens=200)# 正确输出字段为response.choices.textprint(response.choices[0].text)
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
