知识库

用Ollama+RAGflow打造私有知识库

2025 年 2 月 15 日

探索本地大语言模型的高效管理，掌握Ollama工具平台的实用指南。核心内容： 1. Ollama平台介绍及其在本地设备上运行大模型的优势 2. Ollama的安装步骤及命令行工具的使用说明 3. 如何使用Ollama拉取、运行和管理模型的详细操作流程

1. Ollama 简介 https://ollama.com

Ollama 是一个本地运行的大语言模型（LLM）工具平台，允许用户在本地设备上运行和管理大模型，而无需依赖云服务。它支持多种开源模型，并提供了用户友好的接口，非常适合开发者和企业使用。

安装 Ollama

首先，从 Ollama 官网下载安装包，并按照提示完成安装。

启动Ollama

Windows下搜索ollama，然后点击启动

Ollama 命令介绍

Ollama 提供了几个简单易用的命令，基本功能如下：

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       启动 Ollama 服务
  create      从 Modelfile 创建一个模型
  show        查看模型详细信息
  run         运行一个模型
  stop        停止正在运行的模型
  pull        从注册表拉取一个模型
  push        将一个模型推送到注册表
  list        列出所有可用的模型
  ps          列出当前正在运行的模型
cp          复制一个模型
rm          删除一个模型
help        获取关于任何命令的帮助信息

Flags:
  -h, --help      helpfor ollama
  -v, --version   Show version information

拉取模型并运行

ollama pull 具体的模型，这里以deepseek为例

1. 选择模型
2. 搜索你想要的模型：比如 deepseek，qwen
3. 选择你的模型

1. 选择模型大小
2. 复制下载指令，替换为下面，并在终端中执行

ollama pull  deepseek-r1:14b

运行模型并对话，--verbose参数可以显示token信息

ollama run deepseek-r1:14b --verbose

信息如下：

资源占用情况：

退出对话

/bye

运行ollama远程服务

ENV OLLAMA_HOST=0.0.0.0:11434 ollama serve

2 RAGFlowj简介 https://ragflow.io

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。它主要适用于需要动态生成内容且依赖外部知识库的场景，例如智能客服、文档生成、数据分析等。

RAGFlow的安装和部署

?前置条件

CPU ≥ 4 cores (x86);
RAM ≥ 16 GB;
Disk ≥ 50 GB;
Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1.
如果你并没有在本机安装 Docker（Windows、Mac，或者 Linux）, 可以参考文档 Install Docker Engine 自行安装。

? 启动服务器

确保 vm.max_map_count 不小于 262144：
如需确认 vm.max_map_count 的大小：
```
$ sysctl vm.max_map_count
```
如果 vm.max_map_count 的值小于 262144，可以进行重置：
```
# 这里我们设为 262144:
$ sudo sysctl -w vm.max_map_count=262144
```
你的改动会在下次系统重启时被重置。如果希望做永久改动，还需要在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍：
```
vm.max_map_count=262144
```

克隆仓库：

$ git clone https://github.com/infiniflow/ragflow.git

进入 docker 文件夹，利用提前编译好的 Docker 镜像启动服务器：

请在运行 docker compose 启动服务之前先更新 docker/.env 文件内的 RAGFLOW_IMAGE 变量。比如，你可以通过设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0 来下载 RAGFlow 镜像的 v0.16.0 完整发行版。
镜像比较大，需要留足磁盘空间，另外docker下载需要自备科学上网方式，否则有些镜像拉取不下来

$ cd ragflow
$ docker compose -f docker/docker-compose-CN.yml up -d

服务器启动成功后再次确认服务器状态：

$ docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功：

     ____   ___    ______ ______ __
    / __ \ /   |  / ____// ____// /____  _      __
   / /_/ // /| | / / __ / /_   / // __ \| | /| / /
  / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
 /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/

 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

如果您跳过这一步系统确认步骤就登录 RAGFlow，你的浏览器有可能会提示 network anormal 或 网络异常，因为 RAGFlow 可能并未完全启动成功。

在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。
上面这个例子中，您只需输入 http://IP_OF_YOUR_MACHINE 即可：未改动过配置则无需输入端口（默认的 HTTP 服务端口 80）。

注册登录

在上图的界面中注册，然后登录就来到下面这个页面了

配置 Ollama 连接大模型

如下图我们先配置模型，点击右上角头像，再点击模型提供商
接着我们在 RagFlow 中配置模型，注意由于 RagFlow 是在 docker 中安装的，所以请求本地部署的 Ollama 地址要用：host.docker.internal:11434，如果docker在局域网其他服务器上，则直接填写局域网http://局域网ip:11434