一、环境准备：系统与硬件配置
系统要求
Ubuntu 24.04 LTS（内核 ≥6.8.0） 显卡驱动 ≥535（支持CUDA 12.3，默认安装是550版本） 内存 ≥32GB（推荐64GB，保障多任务处理，我的是64G）
硬件适配
RTX 3060（12GB显存，支持7B/14B蒸馏模型，最终我3060拉取的是14b，显卡使用是10G） SSD ≥100GB（建议PCIe 4.0 NVMe，加速模型加载，我安装的是500G的m2）
二、显卡驱动安装
Ubuntu24.04安装显卡驱动参考：https://cn.linux-console.net/?p=31028 root@bkb-MS-7D95:~# ubuntu-drivers devices #####查看支持的驱动版本root@bkb-MS-7D95:~# ubuntu-drivers autoinstall ###默认自动安装驱动
如下图，自动安装驱动成功。可以看到安装的是550版本，相较于自己去官网下载驱动安装，这个auto安装省不少事，效率也快很多。
执行下述命令返回代表安装完成。可以显示显卡信息。
root@bkb-MS-7D95:~# nvidia-smi
三、Ollama 部署
Ollama 安装
Ubuntu24.04安装ollama参考链接：https://zhuanlan.zhihu.com/p/20514173947如果执行一键安装命令curl -fsSL https://ollama.com/install.sh | sh国内直接安装ollama网速过慢退出，如下图
这时候就需要加速器来加速安装ollama了，下载脚本下来替换镜像地址
参考换源：https://blog.tianhao.tech/default/ollama-installation-guide-china.html#cl-5
root@bkb-MS-7D95:/bkb# sed -i 's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g' install.shroot@bkb-MS-7D95:/bkb# sed -i 's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g' install.sh换加速源后下载速度提升很多，下图是对比，原本官网安装好久才1.2%，换了后半个小时左右安装完成ollama。
四、DeepSeek 蒸馏模型部署
模型选择与下载
推荐版本： deepseek-r1:8b（4.9GB，性能保留65%）加速下载：使用镜像源 ollama pull deepseek-r1:7b --registry-mirror （这里我执行拉取很快。并没有限速。到了90%后稍微慢一些）
启动模型服务
基础命令： ollama run deepseek-r1:8b(实测这个显卡12G使用是6G多)
ollama run deepseek-r:14b (实测这个显卡12G使用是10G多) GPU 加速模式： OLLAMA_GPU_LAYER=metal ollama run deepseek-r1:7b
ollama run deepseek-r1:8b(实测这个显卡12G使用是6G多)
ollama run deepseek-r:14b (实测这个显卡12G使用是10G多)
至此模型后端完成部署。
上面通过命令行交互不是很人性化，这时候就需要安装一个ui浏览器窗口来进行交互。
五、验证与调试
基础功能测试
命令行问答验证： ollama run deepseek-r1:8b "对比3.06和3.2大小"WebUI 访问： http://localhost:8080（需部署 Open WebUI）
安装openui
这里使用docker安装，docker安装步骤跳过，自行安装哈。
docker run -d -p 8080:8080 -e OLLAMA_BASE_URL=http://192.168.10.110:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
网址打开如下：
交互式使用
六、常见问题与解决方案
模型下载失败
使用迅雷替代 curl 下载安装包
手动导入模型文件： ollama create deepseek-r1 -f Modelfile
GPU 未被调用
检查 Docker 配置： nvidia-container-toolkit安装状态显存分配策略：限制单任务显存 --num-gpu 50%
