Kimi+Langchain+FastGPT：文档转LLM微调数据集 / QA问答对生成、Kimi 128KAPI免费接入！

import osimport jsonfrom typing import Listfrom tqdm import tqdmfrom langchain_community.chat_models.moonshot import MoonshotChatfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.pydantic_v1 import BaseModel, Fieldfrom langchain_core.output_parsers import JsonOutputParserfrom langchain_community.document_loaders import UnstructuredFileLoaderfrom langchain_text_splitters import RecursiveCharacterTextSplitter

# 设置 Moonshot API Keyos.environ["MOONSHOT_API_KEY"] = "eyJhbGciOixxx"

# 文档处理函数def split_document(filepath):loader = UnstructuredFileLoader(filepath)text_spliter = RecursiveCharacterTextSplitter(chunk_size=2048,chunk_overlap=128)documents = loader.load_and_split(text_spliter)return documents

QA_PAIRS_SYSTEM_PROMPT = """  <Context></Context> 标记中是一段文本，学习和分析它，并整理学习成果：- 提出问题并给出每个问题的答案。- 答案需详细完整，尽可能保留原文描述。- 答案可以包含普通文字、链接、代码、表格、公示、媒体链接等 Markdown 元素。- 最多提出 30 个问题。"""

Role: 文档分块嵌入模型提示词生成器
Profile- author: Aitrainee- version: 1.0- language: 中文- description: 生成用于RAG索引的QA问答对，确保分块后的文档内容能够生成包含完整Markdown元素的QA问答对。
Skills1. 能够分析文档内容并生成相关问题与答案。2. 保留并提取文档中的链接、表格、图片及其他Markdown元素。3. 生成覆盖文档内容关键要点的详细QA问答对。4. 确保生成的QA对适合后续处理与引用。
Rules1. 对文档内容进行分析，并提取出主要信息。2. 针对每个分块的文档内容，生成相关问题，问题和答案中必须保留并正确提取文中的链接、表格、图片及其他Markdown元素。4. 确保生成的答案详细完整，并准确反映源内容的描述。5. 在QA对的答案中，使用Markdown格式表示图片和表格的链接。- 例如：![表格描述](表格链接)或![图片描述](图片链接)。6. 如果某段内容包含多种类型的信息（如文字、表格、图片等），确保在QA对的答案中体现每种信息。
Workflows1. 分析文档内容，识别出需要保留的关键元素（如链接、表格、图片等）。2. 针对识别出的每个元素和上下文，生成问题并构建详细的答案。3. 对生成的QA对进行审核，确保所有Markdown元素均被正确处理并保留。4. 将最终的QA对嵌入到模型中，确保在后续的问答环节中能够准确调用。
Init<Context></Context> 标记中是一段文档内容，要求模型学习和分析这段内容，并整理出有效的QA问答对。为确保信息完整，请遵循以下要求：
- 针对文档内容提出尽可能多且相关的问题，每个问题的答案需要完整且详细。- 尽可能保留原文中的描述，并且注意保留任何涉及的链接、表格、图片及其他相关Markdown元素。- 如文档中包含图片、表格或其他媒体内容，请将其转换为适当的Markdown格式，并确保将链接或嵌入代码包括在内。- 对每个段落，最多提出30个问题，确保覆盖文档内容的关键要点。- 确保QA对中每个答案都准确反映源内容，并包括任何必要的上下文，以便后续处理和引用。
例子：- 问题：此段落描述了什么内容？答案：段落描述了...[具体描述]，并包含表格如下：[表格链接或Markdown格式]。
- 问题：文中引用的图片是什么？答案：文中引用了一个相关图片，链接如下：[![图片描述](图片链接)]。

QA_PAIRS_HUMAN_PROMPT = """请按以下格式整理学习成果:[{{"instruction": "人类指令/问题（必填）","input": "人类输入（选填）","output": "模型回答（必填）"}}]
我们开始吧!  <Context>{text}<Context/>"""

# LLM部分替换为MoonshotChatdef create_chain():prompt = ChatPromptTemplate.from_messages([("system", QA_PAIRS_SYSTEM_PROMPT),("human", QA_PAIRS_HUMAN_PROMPT)])llm = MoonshotChat(model="moonshot-v1-128k")# 使用MoonshotChatparser = JsonOutputParser(pydantic_object=QaPairs)chain = prompt | llm | parserreturn chain

# 结果模型定义class QaPair(BaseModel):instruction: str = Field(description='问题内容')#"input": "人类输入（选填）",input: str = Field(description='人类输入（针对问题内容,选填）')output: str = Field(description='问题的回答')
class QaPairs(BaseModel):qas: List[QaPair] = Field(description='问答对列表')

def main():chain = create_chain()documents = split_document('data/12.txt')# 替换为你的文档路径
# # 打印分块结果# for i, doc in enumerate(documents):# print(f"Document chunk {i + 1}:")# print(doc.page_content)# print("-" * 80)
# 继续处理文档with open('dataset.json', 'a', encoding='utf-8') as f:# 打开文件，使用 'a' 模式进行追加写入bar = tqdm(total=len(documents))for idx, doc in enumerate(documents):print(doc.page_content)# 调试API响应print(f"Processing document chunk {idx + 1}")out = chain.invoke({'text': doc.page_content})print(f"API response for chunk {idx + 1}: {out}")
# 无论返回什么，直接写入文件f.write(json.dumps(out, ensure_ascii=False, indent=2) + ",\n")# 实时写入并添加换行f.flush()# 确保数据立即写入磁盘bar.update(1)bar.close()
if __name__ == '__main__':main()

mkdir fastgptcd fastgptcurl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
# pgvector 版本(测试推荐，简单快捷)curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

docker-compose restart

#先关闭删除容器docker-compose down#再运行docker-compose up -d

docker run -it -d --init --name kimi-free-api -p 8001:8000 -e TZ=Asia/Shanghai vinlic/kimi-free-api:latest