Neo4j与微软合作GraphRAG，推动数据分析的发展，增强GenAI技术
摘要:
Neo4j与微软合作GraphRAG，将其图数据库能力整合到微软Fabric和Azure OpenAI中，使用户可以结合结构化和非结构化数据，增强情境理解能力，利用生成式人工智能，并推动企业级GenAI应用程序。
- Neo4j的图数据库能力与微软服务的整合增强了数据分析和GenAI解决方案。
- 使用Azure OpenAI将非结构化数据转换为知识图。
- 利用GraphRAG实现上下文情境理解和可解释性。
- 提供LLMs的长期记忆功能，通过向量嵌入集成实现。
- 将Neo4j图分析部署为Microsoft Fabric内的本地工作负载。
- 实现不同数据类型的无缝结合，以发现隐藏的模式和关系。
- 通过Neo4j和Microsoft Fabric的整合改进数据探索、分析和协作。
参考:
正文：
Neo4j与微软合作，共同提供统一的数据解决方案，以揭示隐藏的数据模式，并解决关键的GenAI挑战，例如通过提供额外的上下文信息来实现个性化以及提供相关的搜索结果。
Neo4j的图形能力，包括知识图谱、数据科学算法、GraphRAG以及向量和语义搜索，将会被原生地集成到微软的Fabric分析平台和Microsoft Azure OpenAI服务中。
使用Neo4j、Microsoft Fabric和Azure OpenAI的客户可以无缝地结合结构化和非结构化数据，轻松发现数据连接中的隐藏模式，提升对数据的上下文理解，并迅速交付企业级的GenAI应用。
这一新的解决方案使组织能够：
-
将非结构化数据转化为知识图谱。Azure OpenAI可以处理非结构化数据并将其加载到知识图谱中，使得Neo4j查询工具能够提取强大的见解。
通过GraphRAG增强上下文理解和可解释性。完全集成了Neo4j的GenAI功能和Azure OpenAI的GraphRAG应用可以使用从企业数据中推导出的知识图谱来动态增强查询提示。
利用向量嵌入集成为LLMs提供长期记忆。Neo4j支持本地向量嵌入，开发者可以使用OpenAI的嵌入API来创建嵌入，并将其存储在Neo4j数据库中。
作为Fabric的一部分生成基于图的见解。Fabric客户现在可以利用Neo4j图分析能力快速发现数据中隐藏的模式和关联。
-
将Neo4j图分析作为本机Fabric工作负载部署。Neo4j图分析将很快成为Microsoft Fabric的本机工作负载，使用户能够从OneLake数据中创建图模型，运行图数据科学算法并将结果写回OneLake。
LLM使用向量和语义搜索从知识图谱中检索相关信息。然后，它通过知识图谱中的上下文数据增强响应。这个RAG LLM过程产生了更精确、准确和上下文相关的输出，同时还能防止错误信息，也被称为LLM幻觉。
以下是对集成的更详细说明，首先是Neo4j + Azure OpenAI，然后是Neo4j + 微软Fabric。
Neo4j 和 Azure OpenAI: 图形洞察力和企业级 GenAI
自2009年以来，Neo4j 在图形数据库领域进行了开创性工作，帮助组织在复杂、互连的数据集中找到含义。图形技术有望改变企业分析和人工智能，根据 Gartner 的预测，到2025年它将推动数据和分析创新的80%，相较于2021年的10%。Gartner 还将知识图谱视为“一项重要的能力”，并称其为“通过启用 GenAI 增强数据平台解决分散数据管理问题的第一步”。
自从 Azure OpenAI 服务处于私人预览阶段以来，Neo4j 一直在与其合作。通过结合这些工具，我们可以从可能无法摄入和建模的数据中构建图形，并将这些图形开放给更广泛的人群。
任何拥有未充分利用、高度关联数据的行业都可以从这种方法中受益。例如，Neo4j 和 Azure OpenAI 可以支持金融服务行业中的诈骗和洗钱检测等多种用例。供应链和制造领域的用例包括知识传递、物料清单管理和优化应用。
从我们与OpenAI的第一个项目开始，我们观察到应用图形与GenAI的常见架构：
Neo4j的知识图谱和生成式AI参考架构
这个架构由以下组成：
提取 - 使用Azure OpenAI服务从结构化、半结构化甚至非结构化数据中提取知识图，并将其馈入Neo4j图数据库。源数据可能驻留在Fabric、Azure Blob Storage或其他地方。通过生成式AI自动化提取，降低了使用图数据库开始工作的成本，使我们能够从以前不可能的数据连接中获得价值。
-
消费 - 在引入生成式AI之前，想要与图形进行交互并从数据连接中获得价值需要深厚的专业知识。通过在Neo4j上叠加Azure OpenAI服务，任何用户都可以与图形进行交互。
考虑一个具体例子：医疗病例数据收集。我们将解析这些数据以构建一个知识图谱，然后在其上层添加一个聊天界面，并提供在Streamlit应用程序中运行的选项：
这个示例演示了将非结构化数据转换为知识图谱以供使用
摄取和知识图谱抽取
在这个例子中，我们使用零样本与简单提示以及gpt-4-32k模型（您可以在这里找到有关OpenAI模型的更多信息）。这使我们能够将每个人的案件信息提取到Neo4j知识图中（有关更多详细信息，请查看GitHub存储库上的笔记本）。以下是生成的数据模型：
展示通过Neo4j数据模型提取每个人的案例信息
让我们考虑一下我们刚刚取得的成果。我们使用生成式人工智能构建和填充了一个包含非结构化医疗案例数据的知识图谱。这个项目如果手动完成可能需要几周的时间，但是借助Neo4j和OpenAI模型，我们只用了几分钟。我们可以将图形应用于全新的问题。未开发的企业数据中蕴藏着大量的信息，例如药物相互作用、航线或数据泄露等，这些数据可以构建新的图表。这使用户能够从他们之前未发现的数据关联中获得价值。
使用情况
既然我们有了一个图形，接下来该怎么办呢？Neo4j提供了许多工具来与图形进行交互，从Cypher查询语言到Bloom图形可视化工具。生成式人工智能让我们能够做一些新的事情：通过自然语言提问来与图形进行交互。在Neo4j和Azure OpenAI服务之间，LangChain集成是实现这一目标的最简单方法。
将自然语言提示转换为Neo4j Cypher查询语言的流程展示
通过这一过程，我们看到用户输入提示来询问：“有多少患者同时咳嗽和体重下降？” 这一提示传递给聊天机器人，一个使用 LangChain 的 Python 应用程序。LangChain 将该提示传递给 Azure OpenAI 服务，将问题转化为一个 Cypher 语句来解答问题。然后，LangChain 将该 Cypher 语句传递给 Neo4j 数据库，接收到一个回应。
最后，LangChain 最后一次调用 Azure OpenAI 服务。该服务将数据库查询的 JSON blob 总结为自然语言，并在 Streamlit UI 中呈现给用户。
那么，我们取得了什么成果呢？我们使人们能够向 Neo4j 数据库提问自然语言问题。这意味着非技术用户现在可以探索图形并从数据连接中获得价值，比如了解有多少患者同时咳嗽和体重下降。我们的客户使用这一技术使内部用户能够根据表示内部技术文档的知识图回答有关业务实践的问题。
Neo4j 和 Microsoft Fabric: 数据探索、分析和协作的新世界
Microsoft Fabric 是一个统一的数据分析平台，将各种数据工具集合在一个平台下，并与 Neo4j 集成后将发挥其全部潜力，从而彻底改变了通过 Fabric 实现的数据探索和分析。
在 Fabric LakeHouses 中，数据通常被存储为文件或在 SQL Server 表中的行和列，这可能无法充分捕捉数据集内部的复杂关系，从而阻碍了全面的分析和洞见。
Neo4j 的图数据库将数据表示为节点和关系，可以直观地可视化和全面地探索数据集内的连接。借助内置的机器学习和 AI 算法，Neo4j 帮助组织发现隐藏的模式并从数据中获得更深层次的洞见，最终推动更好的业务成果。例如：
减轻IT团队的操作负担。在Fabric生态系统中运行Neo4j AuraDB的IT团队可以更快、更容易地发现数据中隐藏的模式和可行的洞察力。
更明智的业务决策。通过将Neo4j BI Connector与Fabric Power BI集成，组织可以实现对多个数据流的实时数据访问。业务决策者能够更深入、更全面地理解数据。
更好的客户体验和风险管理。通过在Fabric Data Science中运行Neo4j Graph Data Science算法，可以对技术模式进行更深入的分析，以提高预测能力并创建节点嵌入，为客户体验、风险管理等提供宝贵的洞察力。
当前和即将推出的Neo4j和Microsoft Fabric整合包括：
Synapse 数据工程模块集成。通过在 Microsoft Fabric 的 Synapse 数据工程模块中利用基于 Python 的笔记本，用户可以无缝地访问 Neo4j 的图数据。该集成允许数据科学家直接导入 Neo4j 库，轻松实现阅读、写入和应用图数据科学算法等任务。
Neo4j 浏览器集成。Neo4j 浏览器是一个开发者友好的界面，用于执行 Cypher 查询和可视化结果，从浏览器界面简化了自由图查询和原型开发。支持加载包括 OneLake 中的 JSON 在内的各种文件格式，用户可以轻松地导入和操作数据，并用 Neo4j 的图洞察力丰富他们的分析。
Data Factory 和 Neo4j 的 JDBC / ODBC 驱动程序。通过在 Data Factory 中使用这些驱动程序，组织可以在 Neo4j 和 Fabric 之间无缝地传输数据，增强数据管道并实现高效的数据处理工作流。
Neo4j 适用于 PowerBI 的 BI 连接器。Neo4j 提供了专为与 PowerBI 无缝集成而定制的商业智能（BI）连接器。借助该连接器，可以使用 SQL 方言查询 Neo4j 中的数据，提供卓越的性能和灵活性。利用 Neo4j 的图本机存储格式和快速图遍历，数据检索显示出与传统关系型数据库相比显着更高的性能。
-
Microsoft Fabric 工作负载集成（即将推出）。Neo4j 将很快作为 Microsoft Fabric 分析平台上的本机工作负载集成。用户可以直接从 Microsoft Fabric 控制台访问图分析工作负载，从 OneLake 数据创建图模型，分析图数据，使用 Neo4j Bloom 作为可插入的 UI 组件运行图数据科学算法，并将结果写回 OneLake 进行无缝的端到端集成。该集成通过融合两个平台的能力来改进用户体验。
在Microsoft Fabric控制台中展示插入了Neo4j Bloom用户界面。
AI塑造的世界中重新定义可能性
提供企业级分析和人工智能并不容易。它需要不断访问集成数据分析和生成AI平台中的清洁数据，并且该平台需要具备数据库技术，可以快速识别复杂数据集中的连接，同时确保GenAI响应符合企业标准。
Neo4j使Microsoft Fabric用户能够充分发挥GenAI和现代分析的潜力——通过在领域特定数据中扎根LLMs，克服幻觉和其他GenAI挑战，并通过将信息存储在图结构中加深业务洞察力，在数据集内轻松建模和查询错综复杂的关系。
我们对与Microsoft的这种新战略合作感到兴奋，因为它为组织提供了一个强大的集成解决方案，让它们在今后几年中保持在GenAI和数据分析的前沿。
参考:
Generative AI - Ground LLMs with Knowledge Graphs (neo4j.com)
https://neo4j.com/generativeai/
Knowledge Graphs & LLMs: Multi-Hop Question Answering (neo4j.com)
https://neo4j.com/blog/neo4j-microsoft-collaboration/?utm_campaign=Neo4jBlog&utm_content=&utm_medium=&utm_source=LinkedIn&utm_justglobal=NA
