MaxKB
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。
开箱即用：
1、30 分钟内即可上线基于本地大模型的知识库问答系统，
2、支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化；
3、支持零编码快速嵌入到第三方业务系统。
技术栈
• 前端：Vue.js
• 后端：Python / Django
• LangChain：LangChain
• 向量数据库：PostgreSQL / pgvector
• 大模型：Azure OpenAI、OpenAI、百度千帆大模型、Ollama、通义千问、Kimi、智谱 AI、讯飞星火
实现原理
1、向量相似度
检索器通过知识数据库搜索嵌入彼此接近的向量，即最近的邻居，因为它们是相似的文本。在用户提出查询的情况下，首先对其进行嵌入，然后与相似的嵌入匹配。用于找出不同向量有多相似的常用测量是余弦相似度，它基于两个向量之间的角度。
我们可以使用其他方法来测量相似度，包括欧几里得距离，这是向量端点之间的直线距离，以及点积，它测量两个向量对应元素的乘积之和。
2、搜索索引
在进行检索时，首先需要为知识库构建一个搜索索引。索引存储我们的嵌入，并能在大型数据库中快速检索最相似的块。可以使用以下代码在本地创建索引：
from sklearn.neighbors import NearestNeighbors
embeddings = flattened_df['embeddings'].tolist()
# 创建搜索索引
nbrs = NearestNeighbors(n_neighbors=5, algorithm='ball_tree').fit(embeddings)
# 查询索引，可以使用kneighbors方法
distances, indices = nbrs.kneighbors(embeddings)3、重新排序
查询数据库后，可能需要按照相关性从高到低对结果进行排序。重新排序的LLM使用机器学习来提高搜索结果的相关性，通过从最相关的排序。使用Azure AI Search，重新排序会自动使用语义重新排序器为您完成。示意代码：
# 查找最相似的文档
distances, indices = nbrs.kneighbors([query_vector])
# 打印最相似的文档
for i in range(3):
index = indices[0][i]
for index in indices[0]:
print(flattened_df['chunks'].iloc[index])
print(flattened_df['path'].iloc[index])
print(flattened_df['distances'].iloc[index])
else:
print(f"DataFrame中未找到索引 {index}")4、整合所有元素
最后一步是将LLM融入进来，以便能够得到基于我们数据的响应。示意代码：
user_input = "什么是DHub？"
def chatbot(user_input):
# 将问题转换为查询向量
query_vector = create_embeddings(user_input)
# 查找最相似的文档
distances, indices = nbrs.kneighbors([query_vector])
# 将文档添加到查询中以提供上下文
history = []
for index in indices[0]:
history.append(flattened_df['chunks'].iloc[index])
# 组合历史记录和用户输入
history.append(user_input)
# 创建消息对象
messages=[
{"role": "system", "content": "你是一个帮助解答产品问题的AI助手。"},
{"role": "user", "content": history[-1]}
]
# 使用聊天完成生成回应
response = openai.chat.completions.create(
model="llama3:8b",
temperature=0.7,
max_tokens=800,
messages=messages
)
return response.choices[0].message
chatbot(user_input)安装
前置条件：
安装ollama和llama3。
然后docker一键安装。
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
使用
1、创建知识库
首先，打开 MaxKB 界面 UI：
http://127.0.0.1:8080/ui/login#/
初始账号: admin
初始密码: MaxKB@123..
注意：填入本地http://127.0.0.1:11434/，提示：
策略是：
1、添加环境变量：OLLAMA_HOST=0.0.0.0:11434
2、cmd/ipconfig获取本地ip，我的是：http://192.168.31.151:11434/
2、添加应用
关联刚才添加的知识库。
3、开始体验
支持零编码快速嵌入到第三方业务系统。
Q&A
Q：生成回答的质量不高，应该如何优化
A：一般有2个办法：
1、通过反复优化提示词。
2、使用更大的模型。
