hi~
新年好呀！
真的非常享受在家工作的状态！
背着电脑，哪怕是在外面，空闲下来，随时随地，想跟兄弟们说几句话，想写点什么，做点什么！
马上开电脑！
身后，是青山绿水，蓝天白云，空气怡人！
真的，非常爽！
雄哥怀着喜悦之情，此时正在深山中写下这篇文章，希望你也能感受到！
上一篇！雄哥把私有文档的预处理+文本提取分块的任务交付给各位股东！
数据是一切的开始！
很多朋友问，处理好数据，有什么用呢？
对于公司来说：
HR每天筛选几百份简历，把数据交给AI，他自动帮你筛选合适人选，并且主动编辑发送约面邮件！
业务每月产生几千份客户合同，纸质版文档，通过结构化数据提取，让AI帮你完成信息归档、客户分析、营销策略优化等工作！
电商每月产生几万条客户评价，海量信息中，让AI来发掘客户新需求、产品优化建议、舆情监控等功能！
对于个人来说！一切学习笔记、书籍等文本，都可以呈现数据化、可视化，接入AI，真正成为你的私人助理！
数据，是一切的基础！
今天，跟着雄哥动手做知识图谱+高级RAG应用！让你的数据存到AI中！
考虑到企业有数据安全+私密性要求，本次所有实操，纯本地完成！
整个系列的内容是这样的！
day38：如何提高RAG效果？什么是高级RAG？知识图谱？【点击阅读】
day39：一切的开始！PDF文档的精致处理！再跑文本提取【点击阅读】
day40：用本地LLM！识别+匹配数据概念及语义关系！【本篇】
day41：做知识图谱数据可视图！让数据关系+图谱可视化！
day42：纯本地！知识图谱与高级GRAG的高级检索联动应用！
day43：进阶RAG！用上下文+元数据优化RAG检索效果！
day44：进阶RAG！如何用Rerankers 提高检索效率！
day45：多模态MM-RAG！矢量数据库终于有可用武之地！
整个知识图谱的项目！雄哥做好了！以医疗项目数据为例，已全部托管到GitHub！浏览器打开以下链接即可访问！
https://ouhuixiong.github.io/yiyiai-kg
价值内容，仅对知识星球会员开放，我们已经做了大模型微调、知识库+RAG、数据预处理、langchain+llama_index的内容！点击下方小程序申请加入！
人的专注力只有10分钟！那，话不多说！
① 知识图谱的全局性思考，怎样落地？真正给你“渔”！
② 实操方案详解！何工具实现数据提取、节点构建、可视化！
③ 跑起来！跑一个实例代码，一边跑，一边聊细节！
只想学习如何搭建的，直接跳到第三部分！所有的代码和结果呈现，都已上传到知识星球的会员数据盘，在这个路径查找！
有任何问题，直接找雄哥的技术助手—小胖，他会始终在你副驾，帮你解决问题，需要申请知识星球的朋友，联系他，会有个新年优惠券给你！
第一部分：全局性思考，真正给你“渔”！
庄子：纵横不出方圆，万变不离其宗！
世间事物都有其底层逻辑！
雄哥经常跟知识星球的朋友说，我们学习，一定要学基础、学思维！
是真的想教会你，从0基础开始，真正掌握一项技术！
做知识图谱，先从需求出发，究竟想解决什么问题？目标明确了，做什么事情都事半功倍！雄哥做了一个常见需求统计表：
有了目标，就要做技术工程计划和资源分配。知识图谱的构建是一个综合工程，不仅需要软件开发人员，还需要数据分析师、领域专家知识支撑。除了以上，还需要一个专业资源分配项目中控，确保项目顺利进行。
接下来，雄哥会深入探讨如何实现有效的技术工程计划和资源分配！
1.1 技术工程计划的制定
技术选型：选择合适的技术栈是成功构建知识图谱的前提。包括数据存储（如图数据库Neo4j、JanusGraph）、数据处理（如Apache Spark、Kafka）和前端展示（如D3.js、Sigma.js）等工具的选择。雄哥会在第二部分详细说明本次项目所用到的工具！
数据源确定：根据目标确定需要整合的数据源。数据源可能包括公开的数据集、内部数据库、互联网爬虫数据等。这一步骤还需考虑数据的质量、可用性和相关法律法规。
架构设计：设计合理的系统架构，包括数据采集、处理、存储、查询和展示等各个环节。这一步可以确保系统的可扩展性、稳定性和安全性。
开发计划：制定详细的开发计划，包括各个阶段的目标、时间线和责任分配。有效的开发计划应该是迭代的，能够适应项目进展中的变化。
1.2 资源分配策略
你手上有什么子弹，有多少人、多少时间、多少钱、多少技术积累，这应该是心中有数，可婉婉到来的！
团队建设：构建一个跨学科团队，刚刚雄哥也说了，除了技术、还有版块的专业支撑。而且，每个成员都应该清楚，自己的职责，如何与团队其他成员协作。
时间管理：合理分配时间资源，确保关键里程碑的达成。使用敏捷开发方法，如Scrum或Kanban，可以提高项目管理的灵活性和效率。
资金投入：明确项目的预算，合理分配资金，确保关键环节和资源的投入。投资应重点关注技术研发、数据获取和人才培训等方面。
知识共享：团队内部的知识共享和持续学习，定期进行技术分享、工作坊和培训提升团队的整体技能水平。
雄哥做这个项目的基础很简单！首先当然是满足知识星球伙伴们的学习需求啦！然后把项目的结果可视化呈现出来，让所有人都可以看到！
第二部分：实现方案详解！用何工具？怎样用？
雄哥做这个项目，核心四步！后面雄哥会详解的！
①文本分块：将文本语料库分割成多个块，并为每个块分配一个块ID！这一步雄哥之前跑过了，还没跑过的，稍后回看雄哥的历史分享！
使用工具：langchain、llama_index、Unstructured等
②关系提取：每个文本块，使用大型语言模型（LLM）提取概念及其语义关系，并为这种关系分配一个权重W1。同一对概念之间可以有多个关系，每种关系是概念对之间的一条边！
使用工具：ollama、zephyr、df2Graph、graph2Df等
③相关性计算：同一文本块中的概念也通过它们的上下文邻近性相关联，我们为这种关系分配一个权重W2，同一对概念可能出现在多个块中！
使用工具：Pandas库、NumPy库
④可视化呈现：将相似的对分组，求和它们的权重，连接起来。现在，在任何不同概念对之间只有一条边。这条边有一定的权重，并且以关系作为其名称！最后呈现一个可视化的概念图，网页形式呈现！
使用工具：Seaborn库、Pandas库、NetworkX库、Pyvis库等
第三部分：跑一个实例！边跑边聊细节！
老实交代！你不是直接跳到这里的？
快！返回上去看“心法”！
今天，雄哥只做数据处理、关系提取，明天，雄哥带着大家做连线题！做可视化呈现！
OK！跑起来吧！
主要有两个部分内容！
#A 创建实操AI环境，miniconda+jupyter-notebook
#B 实跑知识图谱，呈现html网页文件！
3.1 创建实操AI环境
首先，我们要在ollama先部署一个zephyr大模型，你也可以换其他的LLM，还没学怎么部署的，点击这里学部署！
无显卡+纯本地跑Qwen1.5版模型！0基础闭眼部署指南！适用绝大部分开源模型！llama2+Mistral+Zephyr通杀！
跟着雄哥打开WSL，输入指令，回车启动！
如果是第一次部署，会自动下载这个模型！占用显存6G左右！
ollama run zephyr
先把窗口挂在后台，雄哥后面有代码，接入它！
LLM的作用，是根据我们的文本块，生成概念关系！如下图！
打开miniconda，雄哥在这里部署环境，在这个环境中，处理数据，生成概念图！
还没部署AI环境的朋友，在这里学部署！
第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！4/45
创建新环境！在miniconda的命令窗输入指令，然后回车！
conda create --name kg python=3.10
名称是“kg”，指定python版本3.10！一定要重新创建，不要用之前的环境！养成习惯！
激活环境！创建后，我们要激活进入新的这个环境，进入环境后，所有的操作，都在这个完全独立的环境！不存在依赖冲突！输入指令，回车！
conda activate kg
安装依赖！进入环境后，先输入以下指令，回车！然后输入“y”确认安装！
pip install pandas numpy networkx seaborn langchain pypdf2 pyvis tqdm yachalk unstructured "unstructured[pdf]"
安装jupyter！后面要用它来工作！
pip install jupyter
进入jupyter！输入以下指令，回车，会自动跳转到浏览器打开环境！
jupyter-notebook
处理下载的文件！
把在会员盘的文件，下载后放到一个纯英文+简单的路径，然后cd进去，这里雄哥放在用户文件夹！
然后双击打开，yiyiai-kg这个notebook！
简单说说这个怎么用！因为有些朋友可能很少用jupyter！
有图！
右上角这个圆圈，代表运行这份代码的内核！如果这里是空白的，就重新进！如果在工作中，图中的圆圈会变成灰色的，代表有任务在运行！
你每点击一个块，按住键盘“ctrl”+“回车”，自动运行你点的这个代码！
也可以点击上方的小三角运行！
按顺序运行就ok！
每一个版块，雄哥都把核心操作，都写清楚了，仔细看，你应该能看懂！
到这里，我们的环境就创建完成了！
3.2 实跑知识图谱，呈现html网页文件！
老规矩！雄哥一边跑，一边讲讲核心代码！
设置默认的输入+输出目录！
跟着上篇操作的朋友都知道，雄哥的pdf数据统一存放在“F:/data/03”这个路径！
不管你放在哪，直接绝对路径更改就行了！输出目录在同一个文件夹内，会自动新建一个“output”文件夹！
## （一意AI增效家）## 定义输入数据的路径data_dir = "F:/data/03"inputdirectory = Path(f"./data_input/{data_dir}")## 定义素数据输出路径out_dir = data_diroutputdirectory = Path(f"./data_output/{out_dir}")
加载数据+拆分文本块！
这里，雄哥用了pdf加载器工作！然后用langchain的递归拆分方法，来拆分这个文件夹下的所有pdf，设置每个文本块1500，重合部分150！
#（一意AI增效家）# 如果你的源文件是PDF,需用pdf加载器# loader = PyPDFDirectoryLoader(输入目录)# 文件加载器loader = PyPDFDirectoryLoader(r"F:/data/03")# 源文件txt文件用以下加载器，同时把pdf加载器注释即可（yiyiai）# loader = DirectoryLoader(inputdirectory, show_progress=True)documents = loader.load()splitter = RecursiveCharacterTextSplitter(chunk_size=1500,chunk_overlap=150,length_function=len,is_separator_regex=False,)pages = splitter.split_documents(documents)print("Number of chunks = ", len(pages))print(pages[3].page_content)
运行之后，它会返回总共拆分了多少个文本块！
Number of chunks = 8
这里意思就是拆分了8个文本块！它会环视处理这个“F:/data/03”路径的所有pdf！数据越多，文本块越多，需要处理的时间就越久！
创建数据框！分配块ID！
这里写了一份代码，来分配每一个文本块的ID！
from helpers.df_helpers import documents2Dataframedf = documents2Dataframe(pages)print(df.shape)df.head()
传给大模型（LLM），提取主体关系！
这里，雄哥刚刚分的8个文本块，会保存为“chunks.csv”，然后传给LLM处理，处理之后，返回“graph.csv”！代码是这样的！
if regenerate:concepts_list = df2Graph(df, model='zephyr:latest')dfg1 = graph2Df(concepts_list)if not os.path.exists(outputdirectory):os.makedirs(outputdirectory)dfg1.to_csv(outputdirectory/"graph.csv", sep="|", index=False)df.to_csv(outputdirectory/"chunks.csv", sep="|", index=False)else:dfg1 = pd.read_csv(outputdirectory/"graph.csv", sep="|")dfg1.replace("", np.nan, inplace=True)dfg1.dropna(subset=["node_1", "node_2", 'edge'], inplace=True)dfg1['count'] = 4## 这里先把权重设置为4## 稍后计算上下文邻近性时，雄哥将分配权重为1print(dfg1.shape)dfg1.head()
雄哥写了一份提示词，来告诉LLM应该怎样提取，然后返回怎样格式的文本，如果LLM的工作不达标，你可以在下图这个文件修改提示词！或者，炒鱿鱼！根据算力改模型吧！
计算相似度+合并数据框！
因为同一份数据中，可能会存在同样意义，要计算他们的相似度，然后合并！才能呈现关系！
dfg = pd.concat([dfg1, dfg2], axis=0)dfg = (dfg.groupby(["node_1", "node_2"]).agg({"chunk_id": ",".join, "edge": ','.join, 'count': 'sum'}).reset_index())dfg
到这里，关键内容，已经干完！但知识图谱，最重要是可视化！
“图”！很重要！
下一篇，雄哥会把这些数据，转为html的格式，可视化呈现，你可以部署到公司内网，所有员工都可以使用它来工作！
