知识图谱

Vectorlite v0.2.0：在SQLite驱动下实现极速向量检索

2024 年 9 月 20 日

01。

概述

在技术的迅猛浪潮中，Vectorlite的最新版本v0.2.0以其卓越的性能提升，再次证明了其在向量搜索领域的领先地位。自Vectorlite首次亮相以来，它便以其飞快的搜索速度赢得了开发者的青睐，这一切得益于其底层强大的向量搜索库——hnswlib。然而，技术的探索永无止境，Vectorlite团队并未因此停下脚步，他们不断挑战自我，力求突破，终于在v0.2.0版本中实现了又一次的飞跃。

02。

性能改进的背景

hnswlib虽然强大，但它在某些方面的局限性也逐渐显现。比如在ARM平台上，它的向量距离实现会退回到较慢的标量实现；在支持AVX2的x64平台上，其SIMD实现只有在有更快指令时才使用AVX指令。此外，SIMD指令在编译时确定，这可能会导致一些问题，尤其是当预编译的Vectorlite包分发时，用户的机器可能并不支持AVX2，或者支持更高级的SIMD指令，如AVX-512，而预编译的Vectorlite却无法利用这些高级指令。

为了解决这些问题，Vectorlite v0.2.0版本采用了Google的highway库，实现了自己的可移植向量距离实现。这一改进不仅解决了上述问题，还带来了一系列令人瞩目的性能提升。

03。

v0.2.0版本的性能提升

在v0.2.0版本中，Vectorlite的速度得到了显著提升：

动态SIMD指令集检测：得益于highway库的动态调度特性，Vectorlite现在可以在运行时检测到最佳可用的SIMD指令集。这意味着，即使是在向量维度较小（<=128）的情况下，Vectorlite也能保持高效的性能，尽管会有一点点运行时开销。
向量距离实现的优化：在我的PC上（支持AVX2的i5-12600KF Intel CPU），当向量维度较大（>=256）时，Vectorlite的向量距离实现比hnswlib的实现快1.5倍至3倍。这一提升主要得益于Vectorlite能够充分利用AVX2的Fused-Multiply-Add操作。然而，当向量维度较小（<=128）时，Vectorlite的速度略慢于hnswlib，这是由于动态调度的成本。
ARM平台的SIMD加速：在ARM平台上，Vectorlite现在也支持SIMD加速，这是以往版本所不具备的。
向量归一化的加速：向量归一化现在保证是SIMD加速的，比标量实现快4倍至10倍，这对于使用余弦距离的向量搜索任务尤为重要。

04。

E2E基准测试

为了全面评估Vectorlite v0.2.0版本的表现，开发团队进行了一系列的E2E基准测试。这些测试使用了不同维度和数量的向量，以及不同的查询参数，以模拟真实世界中的使用场景。

测试结果表明，Vectorlite在向量查询速度上比sqlite-vec快3倍至100倍，且随着数据集大小的增加，这一差异越来越大。这主要是因为sqlite-vec只使用暴力搜索，而不适用于大型数据集。与此同时，Vectorlite使用ANN（近似最近邻）算法，可以扩展到大型数据集，尽管准确率可能不是100%。