一、服务器信息
CPU：Intel(R) Xeon(R) Gold 5416S
内存：128GB
硬盘：2 x 1TB SSD
GPU：2 x NVIDIA RTX 4090 24GB
操作系统：Oracle Linux 8.10
二、安装NVIDIA 显卡驱动和 CUDA
2.1 安装内核头文件等依赖包
yum install -y kernel-uek-devel gcc make dkms elfutils-libelf-devel
安装完成后确保 kernel 与 kernel-devel 对应
如图所示：
2.2 下载并安装驱动
驱动下载地址：
https://www.nvidia.com/en-us/drivers/results/
NVIDIA-Linux-x86_64-570.133.07
chmod +x NVIDIA-Linux-x86_64-570.133.07.run ./NVIDIA-Linux-x86_64-570.133.07.run
CUDA下载地址
https://developer.nvidia.com/cuda-12-4-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=RHEL&target_version=8&target_type=runfile_local
CUDA 12.4 runfile (local)
下载后执行以下命令：
chmod +x cuda_12.4.0_550.54.14_linux.run ./ cuda_12.4.0_550.54.14_linux.run
2.3 验证驱动是否安装成功
nvidia-smi
若能正确显示显卡信息，则安装成功。如图所示：
三、安装Conda
3.1 安装 Miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.sh
按提示安装后，执行以下命令使 conda 生效：
source ~/.bashrc
3.2 创建并激活虚拟环境
conda create -n xinference python=3.10 -yconda activate xinference
四、安装Xinference 及相关依赖
4.1 安装 xinference（vllm 版本）
pip install "xinference[vllm]"
4.2 安装 flashinfer
pip install flashinfer -i https://flashinfer.ai/whl/cu124/torch2.4
参考文档：
https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html#vllm-backend
xinference安装指南
4.3 安装 sentence-transformers
pip install sentence-transformers
五、启动Xinference 服务
1、确保xinference环境已激活，如图所示，如未激活，执行下面命令激活。
conda activate xinference
2、启动xinference服务
nohup bash -c "HF_ENDPOINT=https://hf-mirror.com XINFERENCE_HOME=/data/xinferenceNew CUDA_VISIBLE_DEVICES=0,1 xinference-local --host 0.0.0.0 --port 9997" &
启动命令参数说明：
nohup：命令在后台运行。
bash -c "..."：通过 bash 执行一系列设置和命令。
HF_ENDPOINT=https://hf-mirror.com：指定 Hugging Face 国内镜像地址，用于加速模型下载。
XINFERENCE_HOME=/data/xinference：xinference 的工作路径，用于保存模型文件和缓存。
CUDA_VISIBLE_DEVICES=0,1：指定使用 GPU 的编号（2块显卡）。
xinference-local：启动本地模式。
--host 0.0.0.0：监听所有 IP，外部网络可访问。
--port 9997：指定 Web 服务监听端口。
六、模型加载示例
访问界面：http://10.0.110.20:9997/
6.1 启动重排序模型
6.2 启动嵌入模型
6.3 启动语言模型
参数说明：
gpu_memory_utilization: 指定每张 GPU 最多使用其 80% 的显存（0~1 之间），防止显存占满。
max_num_seqs: 最大并行推理序列数量，此处设置最多同时处理 30 个用户请求。
max_model_len: 模型输入 token 的最大长度，最多 40960 个 token。
6.4 正在运行的模型
如图所示，已成功运行语言模型qwq 32b，嵌入模型bge-m3，重排序模型bge-reranker-large
七、Conda 的一些常用命令及其功能介绍
如果有conda 常用命令不是很清楚的，可细看Conda 的一些常用命令及其功能介绍：
7.1、查看所有环境
conda env list
显示所有已创建的 Conda 环境，当前使用的环境前会标有一个星号 *
7.2、创建新环境
conda create --name myenv python=3.10
创建一个名为 myenv的新环境，并指定 Python 版本为 3.10。你可以根据需要安装其他包。
7.3、激活环境
conda activate myenv
激活名为 myenv的环境，之后安装的包将只在该环境中生效。 7.4、退出/停用当前环境
conda deactivate
退出当前环境，回到 base（基础）环境或系统环境。
7.5、删除环境
conda remove --name myenv --all
删除名为 myenv的环境及其所有包。
7.6、安装包
conda install numpyconda install numpy pandas matplotlib
7.7、更新包
conda update numpy
更新当前环境中的 numpy包到最新版本。
7.2、创建新环境
conda create --name myenv python=3.10
创建一个名为 myenv的新环境，并指定 Python 版本为 3.10。你可以根据需要安装其他包。
7.3、激活环境
conda activate myenv
激活名为 myenv的环境，之后安装的包将只在该环境中生效。 7.4、退出/停用当前环境
conda deactivate
退出当前环境，回到 base（基础）环境或系统环境。
7.5、删除环境
conda remove --name myenv --all
删除名为 myenv的环境及其所有包。
7.6、安装包
conda install numpyconda install numpy pandas matplotlib
7.7、更新包
conda update numpy
更新当前环境中的 numpy包到最新版本。
7.3、激活环境
conda activate myenv
激活名为 myenv的环境，之后安装的包将只在该环境中生效。 7.4、退出/停用当前环境
conda deactivate
退出当前环境，回到 base（基础）环境或系统环境。
7.5、删除环境
conda remove --name myenv --all
删除名为 myenv的环境及其所有包。
7.6、安装包
7.4、退出/停用当前环境
conda deactivate
退出当前环境，回到 base（基础）环境或系统环境。
7.5、删除环境
conda remove --name myenv --all
删除名为 myenv的环境及其所有包。
7.6、安装包
conda install numpyconda install numpy pandas matplotlib
7.7、更新包
conda update numpy
更新当前环境中的 numpy包到最新版本。
numpy包到最新版本。