知识图谱

什么是矢量数据库(VectorDB)？为什么它对大语言模型(LLM)很重要？

2024 年 9 月 8 日

当您浏览网站或者新闻摘要的时候，您可能会看到一些关于聊天机器人、大语言模型 (LLM) 和 GPT 的内容。很多人都在谈论大语言模型 (LLM)，因为每周都会发布新的法大语言模型。

由于我们目前正处于人工智能革命之中，因此，了解许多新应用都依赖于向量嵌入非常重要。因此，让我们进一步了解向量数据库以及它们对 LLM 的重要性。

< Vector Databases>

什么是矢量数据库？

首先让我们来定义一下向量嵌入。向量嵌入(Vector embedding) 是一种数据表示，它携带语义信息，可帮助 AI 系统更好地理解数据并保持长期记忆。对于任何你尝试学习的新知识，重要的元素是理解主题并记住它。

嵌入(Embeddings)由 AI 模型生成，例如 LLM，它包含大量特征，这使得其表示难以管理。嵌入表示数据的不同维度，以帮助 AI 模型理解不同的关系、模式和隐藏结构。

使用传统的基于标量的数据库进行向量嵌入是一项挑战，因为它无法处理或跟上数据的规模和复杂性。考虑到向量嵌入所带来的所有复杂性，您可以想象它需要专门的数据库。这就是向量数据库发挥作用的地方。

矢量数据库(Vector databases) 针对矢量嵌入的独特结构提供了优化的存储和查询功能。它们通过比较值并查找彼此之间的相似性，提供轻松搜索、高性能、可扩展性和数据检索。

听起来不错，对吧？有一种解决方案可以处理向量嵌入的复杂结构。是的，但不是。向量数据库很难实现。

到目前为止，只有那些不仅有能力开发矢量数据库，而且还有能力管理矢量数据库的科技巨头才会使用矢量数据库。矢量数据库价格昂贵，因此确保正确校准矢量数据库对于提供高性能至关重要。

矢量数据库如何工作？

现在我们对向量嵌入和数据库有了一些了解，让我们来了解一下它是如何工作的。

什么是矢量数据库？为什么它们对 LLM 很重要？

让我们从处理 ChatGPT 等 LLM 的简单示例开始。该模型具有大量数据和大量内容，它们为我们提供了 ChatGPT 应用程序。

那么让我们来看看这些步骤。

当用户继续进行查询时，它将通过相同的嵌入模型来创建嵌入，以查询该数据库以查找类似的向量嵌入。向量嵌入之间的相似性基于创建嵌入的原始内容。

想要了解更多关于矢量数据库的工作原理吗？让我们了解更多。

传统数据库以行和列的形式存储字符串、数字等。当从传统数据库查询时，我们会查询与查询匹配的行。但是，向量数据库使用向量而不是字符串等。向量数据库还应用相似度度量，用于帮助找到与查询最相似的向量。

矢量数据库由不同的算法组成，这些算法都有助于近似最近邻 (ANN) 搜索。这是通过散列、基于图的搜索或量化来实现的，这些算法被组合成一个管道，以检索查询矢量的邻居。

结果是基于与查询的接近程度或近似程度，因此主要考虑的因素是准确度和速度。查询输出越慢，结果就越准确。

矢量数据库查询经历的三个主要阶段是：

1. 索引(Indexing)

如上面的例子所解释的，一旦向量嵌入进入向量数据库，它就会使用各种算法将向量嵌入映射到数据结构以便更快地进行搜索。

2. 查询(Querying)

完成搜索后，向量数据库会将查询的向量与索引向量进行比较，应用相似性度量来找到最近的邻居。

3. 后期处理(Post Processing)

根据您使用的向量数据库，向量数据库将对最终的最近邻居进行后处理，以生成查询的最终输出。并可能重新排列最近邻居以供将来参考。

总结

随着我们不断看到人工智能不断发展，每周都有新系统发布，矢量数据库的增长发挥着重要作用。矢量数据库使公司能够通过准确的相似性搜索更有效地进行交互，为用户提供更好、更快的输出。

因此，下次您在 ChatGPT 或 Google Bard 中输入查询时，请考虑一下它输出查询结果的过程。

关注我，点赞分享在看不迷路...

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

留下你的场景和痛点,我们帮你判断从哪一步开始。