安装, 设置 Ollama
https://ollama.com/
下载安装完后, 默认跟随系统自启动, 模型默认系统盘, 所以设置无需自启动, 想什么时候启动什么时候启动; 再设置模型默认安装路径.
C:\Users\xxx\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup 目录下删除 Ollama 快捷方式, 就不会自启动了.
打开系统环境变量, 新建变量 OLLAMA_MODELS 变量值: 自定义的模型安装路径.
然后重启 Ollama.
安装 Open WebUI
安装 miniconda:
https://docs.anaconda.com/miniconda/install/
安装 Open WebUI:
https://github.com/open-webui/open-webui
在你要放 Open WebUI 的文件夹下创建一个环境 openwebui:
python -m venv openwebui
激活环境:
openwebui\Scripts\activate
使用清华源安装:
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui
启动 Open WebUI:
open-webui serve
启动完成后浏览器打开: http://localhost:8080
创建管理员账号 (也是本地的, 不会联网上传):
不用 openai 的 API 就关掉, 不然启动时会报一个错(但也不影响):
到此可以 https://ollama.com/search 下载各种开源大模型本地玩起来了. 上传自己的私人文件, 构建自己的知识库吧.
想玩 Ollama 模型库里没有的模型(无审查, NSFW)怎么办?
创建自己的 Ollama 模型
官方教程:
https://github.com/ollama/ollama/blob/main/docs/import.md
这里以 gguf 模型为例:
https://hf-mirror.com/models下载自己喜欢的模型, 放到 Ollama 模型安装目录下相同目录下, 新建
Modelfile.txt文件, 输入FROM ./模型名.gguf相同目录下, 打开 cmd, 执行
ollama create my_model -f Modelfile.txt新建的
my_model模型就可以在Open WebUI里使用了:
快捷启动
新建一个 run.bat 文件, 输入以下内容, 放到前面新建的环境 openwebui 目录下, 双击它启动 Open WebUI:
chcp 65001
@echo off
echo " ___ ___ ___ ";
echo " /\ \ /\ \ /\__\ ___ ";
echo " |::\ \ _\:\ \ /:/ _/_ /\__\ ";
echo " |:|:\ \ /\ \:\ \ /:/ /\ \ /:/__/ ";
echo " __|:|\:\ \ _\:\ \:\ \ /:/ /::\ \ /::\ \ ";
echo " /::::|_\:\__\ /\ \:\ \:\__\ /:/_/:/\:\__\ \/\:\ \ ";
echo " \:\~~\ \/__/ \:\ \:\/:/ / \:\/:/ /:/ / ~~\:\ \ ";
echo " \:\ \ \:\ \::/ / \::/ /:/ / \:\__\";
echo " \:\ \ \:\/:/ / \/_/:/ / /:/ /";
echo " \:\__\ \::/ / /:/ / /:/ / ";
echo " \/__/ \/__/ \/__/ \/__/ ";
REM 1. 激活环境
call "%~dp0Scripts\activate"
REM 2. 启动
open-webui serve
REM 3. 可选：保持窗口
pause
end
