“AI 模型，最终目标只有一个，就是模仿人类的思维”
——by Ruanyf](github一名贡献者)
┃任务说明
Ollama作为个人电脑上的大模型应用，已经成为我在mac笔记本电脑和windows pc上体验开源LLM大模型的首选服务，上一篇基于第三方插件把Ollama服务集成到了开源笔记软件Obsidian中，实现了笔记内的LLM问答。但RAG在Macbook中应用时性能开销始终比较大，同时我又不想通过api接口连接大模型云服务。这次看到有人推荐网易有道团队开源的QAnything，在Github看了下评价还不错，于是决定体验一下。
#AI应用-011 QAnything：一个基于增强检索生成（RAG）的知识库管理开源项目
用途示例2：结合知识库内容给出建议和意见↑
┃QAnything 项目简介
项目介绍：QAnything是基于增强检索生成（RAG）的知识库管理开源项目，是网易有道团队开发。
项目地址：https://github.com/netease-youdao/QAnything
官方使用说明：https://github.com/netease-youdao/QAnything/blob/master/QAnything%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E.md
┃我的本机环境
OS: Macbook（MacOS） ，M2芯片
大模型环境：ollama
AI知识库开源项目：Qantying
QAnything使用的嵌入模型：BCEmbedding（包括embedding和rerank
BCEmbedding嵌入模型优点：使用了embedding和rerank两个模型，进一步增加了检索的准确性。
使用到的大语言模型（LLMs）:llama3,llama3-8b-chinese-chat-ollama-q8
部署方式：纯python环境安装，通过ollama使用本地开源模型
┃无废话0基础纯享部署步骤（但我还是希望你能看到后面我的部署体验过程）
1.自行安装Anaconda3（便于将QAnything部署在一个独享的纯净的python环境中）
2.打开mac终端窗口（推荐使用iTerm)：
3.创建一个干净的Python虚拟环境，以避免潜在冲突
终端内输入以下命令，回车：
conda create -n qanything-python python=3.10
4.步骤2执行成功后，终端内输入以下命令激活Qanything的python环境：
conda activate qanything-python
注意：如果终端设置了代理，这里是会报错的，需要在终端窗口取消代理（取消代理命令：export https_proxy= http_proxy= all_proxy=），没有报错请忽略。
git clone -b qanything-python https://github.com/netease-youdao/QAnything.git
6.下载完毕后，窗口切换到Qanything文件夹
cd QAnything
7.安装必要的python依赖环境（大概率需要科学上网，网速较好的情况下大概需要十分钟左右时间）
pip install -r requirements.txt
8.打开Qanything项目文件夹，找到run_for_ollama_M1_mac.sh文件，并右键选择【文本编辑】打开备用
9.另外打开一个终端窗口，输入ollama list，查看安装了哪些大模型
10.把想用的大模型拷贝拷贝出来，这里用的是“wangshenzhi/llama3-8b-chinese-chat-ollama-q8:latest”，注意“:latest”也要一并拷贝出来，复制到步骤8打开的文件中，上下文长度也一并改成8000（llama3的上下文长度为8K，llama2的上下文长度为4096）， command+s保存（也会自动保存，习惯而已）
11.一定要启动ollama服务。有两种启动方式任选其一。
一种是另开一个终端窗口，输入：
ollama serve
另一种是找到ollama桌面程序，点击启动↓：
12.返回终端窗口，启动Qanything
bash scripts/run_for_ollama_api_in_M1_mac.sh
启动成功后的进程截图↑
13.启动成功后，在浏览器输入http://127.0.0.1:8777/qanything/或者http://localhost:8777/qanything/ 访问QAnything
14.添加一个知识库，与知识库对话。(见开篇体验效果图）
#废话篇：献上我的“痛苦”体验过程，供一笑(安装部署参照上面即可，不要参考这里）
DAY1:
1.创建一个干净的Python虚拟环境，以避免潜在冲突（推荐使用Anaconda3）。
conda create -n qanything-python python=3.10conda activate qanything-python
注意：如果终端设置了代理的话，可能会以下报错（亲测?）：
ProxyError: Conda cannot proceed due to an error in your proxy configuration.Check for typos and other configuration errors in any '.netrc' file in your home directory,any environment variables ending in '_PROXY', and any other system-wide proxyconfiguration settings.
如果报错上述错误，在mac终端窗口输入取消终端代理命令：export https_proxy= http_proxy= all_proxy=
2.下载项目代码到本地
git clone -b qanything-python https://github.com/netease-youdao/QAnything.gitcd QAnythingpip install -r requirements.txt# 请根据使用环境选择启动脚本：bash scripts/xxx（内部调用纯python启动代码，可手动修改python启动命令）
3.安装必要的依赖环境
pip install -r requirements.txt （顺利的话，大概需要10分钟内）
注意：如果安装失败，大概率是因为网络环境，需要科学上网（亲测?）
如果要用本地的ollama大模型服务，需要打开项目文件夹，找到run_for_ollama_api_in_M1_mac.sh，按住command+c command+v复制一份
我的mac是m2芯片，重新把文件命名为run_for_ollama_api_in_M2_mac.sh
鼠标右键选择用‘文本文件’打开，编辑里面的命令，原始的命令如下：
#!/bin/bashbash scripts/base_run.sh -s "M2mac" -w 4 -m 19530 -q 8777 -o -b 'http://localhost:11434/v1' -k 'ollama' -n 'llama3' -l '4096'
在mac终端命令窗口输入ollama list，找到已经存在本地的大模型名称，选择一个你想用的大模型，替换到上面bash命令中去
修改后的
#!/bin/bashbash scripts/base_run.sh -s "M2mac" -w 4 -m 19530 -q 8777 -o -b 'http://localhost:11434/v1' -k 'ollama' -n 'wangshenzhi/llama3-8b-chinese-chat-ollama-q8' -l '4096'
在mac终端执行
bash scripts/run_for_ollama_api_in_M1_mac.sh
启动成功后显示如下：按照命令窗口提示的url在浏览器输入：http://0.0.0.0:8777/qanything/后报错改成http://127.0.0.1:8777/qanything/或者http://localhost:8777/qanything/ 即可正常访问。
上传一个pdf文件
看起来还不错，来问一下问题，不出意外出了意外，报502错误。
把mac终端窗口的日志按照ctrl+a&ctrl+c拷贝到一个文档里面来，搜索“502”，找到以下报错信息：
……INFO:debug_logger:Warning: ==wangshenzhi/llama3-8b-chinese-chat-ollama-q8 not found==. Using cl100k_base encoding.INFO:debug_logger:Warning: wangshenzhi/llama3-8b-chinese-chat-ollama-q8 may update over time. Returning num tokens assuming gpt-3.5-turbo-1106.INFO:debug_logger:prompt tokens: 160INFO:debug_logger:streaming: TrueINFO:debug_logger:[{'role': 'user', 'content': '\n- 你是一个耐心、友好、专业的机器人，能够回答用户的各种问题。\n- 根据知识库内的检索结果，以清晰简洁的表达方式回答问题。\n- 不要编造答案，如果答案不在经核实的资料中或无法从经核实的资料中得出，请回答“我无法回答您的问题。”（或者您可以修改为：如果给定的检索结果无法回答问题，可以利用你的知识尽可能回答用户的问题。)\n'}]**INFO:debug_logger:Error calling OpenAI API: Error code: 502**INFO:debug_logger:add_qalog: 我想学习LLM知识，应该从何学起INFO:qa_logger:chat_data: {'user_id': 'zzp', 'bot_id': 'BOT30dbf5e2497549849b5c000a4bdc7e29', 'kb_ids': ['KB0e708ac07d864e40af4d90d7daf341ac', 'KB0e708ac07d864e40af4d90d7daf341ac_FAQ'], ……
看起来是ollama服务没找到我想要用的大模型，想起来自己的ollama服务可能没开起来，把ollama服务启动起来
在mac终端窗口按住control+c结束当前命令
重新输入
bash scripts/run_for_ollama_api_in_M1_mac.sh
重新打开本地页面，依然报错：
#!/bin/bashbash scripts/base_run.sh -s "M1mac" -w 4 -m 19530 -q 8777 -o -b 'http://127.0.0.1:11434/v1' -k 'ollama' -n 'llama3:latest' -l '8000'
敲重点：这里的'llama3:latest' 要与ollama list里带出来的模型名称保持一致！！！
重启应用
cd qanythingconda activate qanything-pythonbash scripts/run_for_ollama_api_in_M1_mac.sh
终于成功！
考虑到llama3原生的对中文支持不好，换一个中文微调过的模型。
通过ollama list 找到已经安装到ollama服务里的模型，我这里用的是wangshenzhi/llama3-8b-chinese-chat-ollama-q8:latest；
修改run_for_ollama_api_in_M1_mac.sh文件
#!/bin/bashbash scripts/base_run.sh -s "M1mac" -w 4 -m 19530 -q 8777 -o -b 'http://127.0.0.1:11434/v1' -k 'ollama' -n 'wangshenzhi/llama3-8b-chinese-chat-ollama-q8:latest' -l '8000'
mac终端重启Qanthing服务↓：
bash scripts/run_for_ollama_api_in_M1_mac.sh
Tips（痛苦复盘）：
在启动Qanything服务后，总是报错，后台日志显示了没有找到llama3，本来不以为意，因为我在本地的ollama服务、chatbox、obsidian都是用同样的ollama配置，结果到了Qanything上不起作用。
这类的问题也不稀奇，本人从去年初开始，在体验AI项目特别是开源项目时，遇到了各种坑。这些坑对于LLM的初学者是不太友好的，比如过程中python组件包的各种冲突，会不得不去了解和实践在conda环境、docker中部署，熟悉去使用各种终端命令、代理设置，去找到大佬们的分享文章和视频逐帧对比亦步亦趋部署等等。
但也正因为这些折腾，在实践过程中，才能一点一点理解大模型对话机制（chatbot）、增强检索（RAG）、依赖的环境、资源的消耗等这些光靠看文章所无法直观面对的细节。
在AIGC实践中，找到知识的缝隙，日积月累，必有所获吧。
PS:封面由comfyui生成，提示词是从AIGC社群里看到的：Ink painting style, Simplistic and rough, Comic style, Dynamic, Subtle colors, solid white background, a Chinese young man, black long hair, full body, traditional Chinese clothes
