长文本分块的新策略——后期分块（Late Chunking），让RAG应用"又准又高效"

后期分块:颠覆传统的新思路

1. 先用一个长上下文嵌入模型(比如 jina-embeddings-v2-small-en，具有 8K 上下文长度)"读懂"整个文档
2. 然后再把这个"理解"切成小块

而“后期分块”方法首先将嵌入模型的转换层应用于整个文本或尽可能多的文本。这为文本中的每个标记生成了一个包含整个文本信息的向量表示序列。随后，对这个标记向量序列的每一部分应用平均池化，产生考虑整个文本上下文的每个部分的嵌入。与生成独立同分布（i.i.d.）分块嵌入的简单编码方法不同，后期分块创建了一组分块嵌入，其中每个嵌入都“依赖于”之前的嵌入，从而为每个分块编码了更多的上下文信息。

这就好比你先通读了一本书,理解了整体内容,然后再给每一章写摘要,而不是仅仅看了每章的标题就开始总结。

传统方法和后期分块的对比:

以此为例：爱丽丝有一天在树林里散步，途中她发现了一样东西。她看到一棵大树底部有一个兔子洞。她掉进了洞里，发现自己来到了一个陌生的新世界。如果我们将这个段落分句，我们会得到：

1.爱丽丝有一天在树林里散步，她在散步中发现了一些东西。

2.她在一棵大树的底部看到了一个兔子洞。

3.她掉进了洞里，发现自己在一个陌生的新世界里。

现在想象一下，用户已经将多个文档、书籍的段落甚至多本书填充到他们的向量数据库中。如果他们问“爱丽丝在哪里掉下去的”，作为人类，我们能直观地理解句子 3 中的“她”指的是句子 1 中的爱丽丝。然而，由于这些嵌入是独立创建的，模型对句子 3 的表示无法考虑到与名字爱丽丝的关系。

后期分块的过人之处

1. 保留上下文:就像你读完整本书再总结,而不是只看目录就下结论,后期分块能更好地理解文章的整体意思[1]。

2. 存储更高效:比起其他高级方法,后期分块既能保留文章的整体意思,又不会占用太多存储空间[1]。

可以看出,传统方法只需要与延迟交互相比存储资源的 1/500。后期交互，虽然更加精确，但需要显著更多的存储容量。后期分块可以与传统方法一样减少存储需求，同时保留后期交互所提供的上下文信息，既能保留文章的精髓,又不会占用太多空间,简直是鱼与熊掌兼得!

1. 简单易用:只需稍微调整一下现有的AI系统,就能用上这个新技术,不需要大动干戈，这里是项目地址^[2]和colab例子^[3]。

实际效果如何?

Weaviate 的原生、多租户架构为需要在保持快速检索和准确性的同时优先考虑数据隐私的客户提供优势。

如下：

假设有人问:"客户最关心什么?"

显然,后期分块方法给出的答案更加全面和贴切,更能抓住问题的核心。

对开发者的启发

1. 不用再为如何巧妙地切分文本而绞尽脑汁了。
2. 用更少的钱就能处理更长的文本,性价比杠杠的!
3. 实现起来超级简单,几十行代码就搞定,不用大改现有系统。
4. 能给AI提供更精准的信息,让AI回答问题时更加准确高效。

总结

后期分块技术为处理长文本提供了一个既聪明又实惠的新方案。它不仅能更好地理解文章的整体意思,还能大大节省存储和计算成本。对于那些想要构建大规模AI应用的开发者来说,这绝对是一个值得尝试的新方向。随着技术的不断进步,我们有理由相信,后期分块将在未来的AI应用中发挥越来越重要的作用。