从0-1:DeepSeek 大模型本地部署全攻略

操作系统：DeepSeek 大模型支持 Windows、macOS 和 Linux 系统，你可以根据自己的熟悉程度和设备情况进行选择。对于 Windows 用户，建议使用 Windows 10 及以上版本，以确保系统的稳定性和兼容性；macOS 用户需确保系统版本在 macOS Catalina 10.15 及以上；Linux 用户则推荐使用 Ubuntu 20.04 及以上版本 。

Docker 安装：如果计划使用 Open Web UI 与模型进行交互，需要先安装 Docker。以 Windows 系统为例，首先访问 Docker 官方网站（https://www.docker.com/products/docker-desktop），点击 “Download for Windows” 按钮下载 Docker Desktop 安装程序。下载完成后，双击安装程序，按照提示完成安装。安装完成后，启动 Docker Desktop。若使用的是 Windows 10 或更高版本，建议启用 WSL 2 后端以提高性能。打开 Docker Desktop，进入 “Settings” -> “General”，勾选 “Use the WSL 2 based engine”。进入 “Resources” -> “WSL Integration”，启用 WSL 发行版。安装完成后，打开命令提示符或 PowerShell，输入 “docker --version”，若显示 Docker 版本信息，则说明安装成功 。

Ollama 安装：Ollama 是一个开源工具，用于在本地轻松运行和部署大型语言模型。访问 Ollama 官网（https://ollama.com/），点击 “Download” 按钮，根据操作系统选择对应的安装包。下载完成后，直接双击安装文件并按照提示完成安装。安装完成后，在终端输入 “ollama --version”，若输出版本号（例如 ollama version is 0.5.6），则说明安装成功 。

下载并部署 DeepSeek 模型

选择模型版本：Ollama 支持多种 DeepSeek 模型版本，用户可根据硬件配置选择合适的模型。1.5B 版本适合初步测试，对硬件要求较低；7B 或 8B 版本适合大多数消费级 GPU，能满足日常使用和一些轻度的应用场景；14B、32B 或 70B 版本则适合高端 GPU，适用于对模型性能要求较高的专业场景 。

下载模型：打开终端，输入下载命令。例如，下载 7B 版本的命令为 “ollama run deepseek-r1:7b” 。如果需要下载其他版本，可以参考以下命令：

• 下载 8B 版本：ollama run deepseek-r1:8b

• 下载 14B 版本：ollama run deepseek-r1:14b

• 下载 32B 版本：ollama run deepseek-r1:32b

启动服务：在终端运行 “ollama serve” 命令启动 Ollama 服务。服务启动后，可以通过访问http://localhost:11434来与模型进行交互 。

使用 Open Web UI（可选）

Open Web UI 为用户提供了一个更直观、友好的交互界面，方便与 DeepSeek 模型进行对话和操作。

安装 Docker：确保机器上已安装 Docker，具体安装步骤如前文所述 。

运行 Open Web UI：在终端运行以下命令安装并启动 

Open Web UI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

该命令中，“-d” 表示后台运行容器；“-p 3000:8080” 将容器的 8080 端口映射到主机的 3000 端口；“--add-host=host.docker.internal:host-gateway” 添加主机映射，使容器能够访问主机服务；“-v open-webui:/app/backend/data” 将 Open Web UI 的数据目录挂载到 Docker 卷 open-webui；“--name open-webui” 为容器命名；“--restart always” 设置容器始终自动重启；“ghcr.io/open-webui/open-webui:main” 指定使用的 Docker 镜像 。

3. 访问与使用：安装完成后，打开浏览器，访问http://localhost:3000，首次访问时需要创建一个账户，输入用户名和密码完成注册并登录。在 Open Web UI 界面中，进入设置页面，在 “Ollama API URL” 字段中输入http://host.docker.internal:11434，然后保存设置。找到模型选择菜单，选择 DeepSeek 模型（如 deepseek-r1:latest），即可在输入框中输入问题或指令与模型进行交互 。

部署过程中的注意事项和常见问题解决

注意事项

安装路径选择：在安装 Docker 和 Ollama 时，注意选择合适的安装路径。如果是 Windows 系统，Ollama 默认安装在C盘，若C盘空间有限，建议提前配置环境变量，更改 Ollama 模型的存储路径 。例如，在系统环境变量中新建变量 “OLLAMA_MODELS”，将其值设置为其他磁盘的路径，如 “D:\ollama\models” 。

权限设置：确保用户对安装目录和相关文件具有足够的读写权限。在 Linux 系统中，运行 Docker 命令时可能需要使用 sudo 权限 。如果权限不足，可能会导致模型下载失败或服务无法正常启动。

网络环境：模型下载过程需要稳定的网络连接，建议在下载前检查网络状况，避免因网络波动导致下载中断或超时。若网络环境不佳，可尝试使用代理服务器或更换网络。

常见问题解决

模型下载超时：如果在下载模型时出现超时问题，可能是网络不稳定或服务器负载过高导致。首先，检查网络连接，确保网络正常。然后，可以尝试重新运行下载命令，如 “ollama run deepseek-r1:7b” 。若多次尝试仍无法下载，可等待一段时间后再次尝试，或者更换下载源 。

服务启动失败：若 Ollama 服务启动失败，首先确认是否已正确安装 Ollama，以及相关依赖是否齐全。检查终端输出的错误信息，若提示端口被占用，可以修改 Ollama API 的侦听端口。在系统环境变量中设置 “OLLAMA_HOST” 变量，将其值设置为新的端口号，如 “:8001” 。如果是因为缺少依赖库导致服务启动失败，根据错误提示安装相应的依赖库 。

显存不足：当出现显存不足的情况时，若使用的是较大规模的模型，可尝试换用较小规模的模型，如从 70B 模型切换到 7B 模型 。也可以尝试使用量化技术，如 4-bit 或 8-bit 量化，降低模型对显存的需求。在运行模型时，使用 “--quantize q4_0” 等参数启用量化 。还可以限制模型使用的显存，通过设置 “CUDA_VISIBLE_DEVICES” 环境变量指定使用的 GPU 设备，并通过 “OLLAMA_GPULAYERS” 变量限制使用的 GPU层数。