大模型应用的关键，不只是构建好模型算法，更重要的是做好数据的处理、挖掘等问题。数据贯穿了大模型从预训练到产业落地的全过程。
一定程度上，智能时代，企业数据处理能力有多强，决定了业务发展的天花板有多高。
而能力再强大的 LLM 也只能取代人部分学习和推理能力，无法取代存储和访问数据的能力；参数再多的 LLM 也不能仅凭基于通用数据的训练就能精确表达企业内部海量且丰富的数据。而处理这类数据，才是私有化场景的主要需求。
一方面，企业很难把自己具有核心竞争力的数据放到大模型中去训练；
- 另一方面，企业的业务数据变化速度快，且实时性强，因此私有化部署后的大模型、在数据层上也很难做到秒、天级别的更新。
本文将带您构建一个集大模型推理、智能检索、知识加工于一体的本地知识库系统，深度融合DeepSeek认知大模型的语义理解能力、RagFlow的文档智能处理能力以及Ollama的本地化部署优势。该系统具备三大核心价值：
私有化部署：数据全程在本地流转，杜绝信息外泄； 强大的文档处理：自带OCR，能够通过深度文档理解模块智能提取和组织信息，支持多种异构数据源，包括Word、PPT、Excel、TXT、图片、扫描件、结构化数据、网页； 支持多种模型：在Ollama的加持下，支持本地部署市面上大部分权重开源模型（如qwen系列、deepseek、ollama、qwq、glm等），也支持在线Web API调用、支持硅基流动等平台；
本文将以DeepSeek、RagFlow、Ollama为核心，手把手带你搭建一套支持GPU加速的私有知识库系统，助你快速实现AI技术的本地化部署与私有知识管理。
一、环境准备本文基于 Ubuntu 22.04 LTS 系统，使用了 NVIDIA A10显卡在ollama上部署了deepseek 32b模型，如果显卡性能不够的话，也可以部署14b或者7b的小模型，系统整体包括以下组件：
二、DeepSeek + RagFlow + Ollama 实战指南Docker：容器化运行环境
Ollama：本地大模型推理引擎
RagFlow：RAG（检索增强生成）框架
MinIO/MySQL/Redis：存储与缓存基础设施
2.1、安装Docker
Docker是一个开源的容器化平台，能够帮助我们在隔离的环境中运行应用程序。在安装之前，首先更新索引：sudo apt update
其次输入指令sudo apt install docker.io 使用apt安装docker：
docker -v查看docker版本，使用docker ps查看当前docker container情况：
2.2、镜像安装Ollama
Ollama是一个轻量级的模型服务框架，支持多种深度学习模型的部署和管理。它提供了简单的API接口，方便用户快速部署和使用模型服务。
docker pull ollama/ollama会报 docker error response from daemon: get "https://registry-1.docker.io/v2/错误，这是因为服务器无法访问到对应网站。
sudo docker pull docker.1ms.run/ollama/ollama
:docker tag docker.1ms.run/ollama/ollama ollama/ollama
2.3、以GPU模式启动Ollama
如果你的机器配备了NVIDIA GPU，可以通过NVIDIA Docker工具包来启用GPU加速。
首先输入以下指令配置添加NVIDIA Docker仓库并安装NVIDIA Docker 2.x：
# 安装NVIDIA Docker工具包
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
然后以GPU模式启动Ollama容器
sudo docker run -d --gpus all -p 8080:8080 --name ollama ollama/ollama
2.4 、安装RagFlow
RagFlow是一个基于RAG（Retrieval-Augmented Generation）框架的工具，能够结合检索和生成模型，提供更精准的问答服务。它通过从知识库中检索相关信息，再结合生成模型生成答案，显著提升了问答系统的准确性。
使用sudo docker compose -f docker-compose-base.yml up -d安装，一般会报错：
sudo docker compose -f docker-compose-base.yml up -d，检查是否全部下载完成，如果显示如下则说明全部下载完成：
sudo docker compose -f docker-compose-gpu.yml up -d安装GPU版本的RAGFlow
sudo docker ps -a可以看到目前运行的镜像状态，显示有ragflow-server、mysql、minio、redis、es、ollama这些镜像才算成功启动，如下：
这样你就成功搭建了一个的本地私有知识库系统。
