以往我们使用的文本切分方式，都是基于特定字符、或者特定长度的，而完全不考虑语义，这未免有点奇怪，而且从实践经验来看，使用特定字符或特定长度的切分方式，导致片段语义不连贯是非常明显的一个问题。
langchain-experimental库中有一个SemanticChunker，可以将句子转换为向量，并计算不同向量之间的相似性，来决定是否需要切分，由于向量可以代表句子的语义，因此这样切分也是语义切分。
langchain-experimental库的实现，来自另一位作者（后文称原作者）：https://github.com/FullStackRetrieval-com/RetrievalTutorials/blob/main/tutorials/LevelsOfTextSplitting/5_Levels_Of_Text_Splitting.ipynb。
SemanticChunker的切分原理是这样的，例如使用正则表达式，将原始文本切分后得到了一系列句子：
[sentence_1, sentence_2, sentence_3, sentence_4, sentence_5, sentence_6, sentence_7, sentence_8, sentence_9, ...]
原作者共提出了两种方法：
带位置奖励的层次聚类：例如将上面的那些句子，每个都分别计算Embedding，然后对这些Embedding进行层次聚类。但作者提到有些特别短的句子，切分开可能会导致语义的改变，例如“But because I chose to split on sentences, there was an issue with small short sentences after a long one. You know?”，最后面的“You know?”就是特别短的句子，单独切开计算相似度显然不合适。所谓的位置奖励就是，将更可能挨在一起的句子在切分时给予一定的奖励。但作者提到，这种方法调参会很慢而且不是最优的（slow and unoptimal），神奇的是我们使用这种方法切分取得了很好的效果。
在连续句子中寻找切分点：这种想法很好理解，就是对每个句子计算Embedding，然后分别计算相邻句子的距离（1-余弦相似度），当这个距离突破特定阈值时，则在此处切开，例如上面的sentence_1、sentence_2、sentence_3，之间的距离都比较近，而sentence_3与sentence_4距离比较远，则在sentence_3和sentence_4之间增加切分点，最终就会把1、2、3分成一个切片。这样理解比较直观，但实际操作时会发现噪音比较大，因此作者采用了滑动窗口的方式，相当于做了“平滑处理”，窗口大小保留为3，发现效果不错。
注意：窗口大小为3，对应下面介绍的代码中
SemanticChunker构造函数中buffer_size=1，因为会向前、后各取buffer_size个句子。
如此操作完之后，将横轴记为句子的index，纵轴为句子距离，就得到了下面的图：
然后将显著大于正常距离的点，作为切分点，就可以得到如下的切分位置，以及切片。
至于怎样的距离算显著，langchain-experimenal中提供了4种方法：
percentile：分位数切分法，默认切分方法，也是原作者所使用的切分方法，这种方式也最好理解，percentile的默认值设置为95，意味着距离大于等于95分位数的地方，增加切分点，95分位数就是所有距离从小到大排列，分为100份，第95份的那个数
standard_deviation：标准差偏离法，也是统计学中表示偏离正常的常规方法，这种方法比较适合正态分布，切分点的值大于等于“距离的均值+3*距离的标准差”，3是代码中standard_deviation的默认值，也是最常用的值
interquartile：四分位距法，是统计学中表示偏离的另一种常规方法，这种方法计算分位数，所以数据分布不那么正态问题也不大，切分点的值大于等于“距离的均值+1.5*距离的四分位距”，其中1.5是代码中的默认值，也是最常用的值，距离的四分位距的计算，首先将所有距离由小到大排列分成100份，在第25份的位置记为q1（下四分位），第75份的位置记为q3（上四分位），四分位距=q3-q1，因为用了两个四分位的距离，所以叫四分位距
gradient：梯度法，这种方式稍微难理解一些，它首先计算了所有距离的梯度（对于这个场景其实是一阶差分，因为是离散值），梯度计算出来后，就可以知道哪个地方距离变化得快，然后选择所有梯度95分位的位置作为切分点，95是代码中的默认值。这个方法背后对应的道理是，句子之间的距离是有增有降的，那在增加的过程中，如何找准时机呢，那我一定要在猛增的那个点进行切分，其实跟k-means使用肘方法来确定类簇数量，想法是一样的
从下图可以看出，使用Embedding的方式进行切分，对相邻片段使用层次聚类的切分效果最好，超过了Baseline（基础流程）。
4 核心代码
本文对应的代码已开源，地址在：
https://github.com/Steven-Luo/MasteringRAG/blob/main/split/02_embedding_based_sementic_splitter.ipynb
使用Embedding的切分，核心代码非常简单，准备好Embedding模型和要切分的文档后，两行代码就能搞定：
SemanticChunker
HuggingFaceBgeEmbeddings
embeddings = HuggingFaceBgeEmbeddings(
model_name=,
model_kwargs={: device},
encode_kwargs={: },
query_instruction=
)
OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
text = (os.path.join(os.path.pardir, , , )).read()
text_splitter = SemanticChunker(
embedding_model
)
docs = text_splitter.create_documents([text])特别注意：
SemanticChunker这个切分器默认的参数，是为英文优化的，在中文上直接使用的话，是不work的，下面介绍一些重要的参数，以及在中文环境下要注意的点。
4.1 注意切分的正则表达式
SemanticChunker的构造器如下：
(BaseDocumentTransformer): ( , embeddings: Embeddings, buffer_size: = , add_start_index: = , breakpoint_threshold_type: BreakpointThresholdType = , breakpoint_threshold_amount: Optional[] = , number_of_chunks: Optional[] = , sentence_split_regex: = , min_chunk_size: Optional[] = , ): ...
构造函数中有一个参数sentence_split_regex，用于先将文本切分成片段，从源代码中可以看出，它默认是对英文的句号、问号、感叹号进行切分的，而且是对比较规范的英文行文，也就是这三种标点后还跟空白字符的，对于中文，是无法正常切分的，使用中文时，首先要将这个正则表达式替换成能切分中文的，例如下面这样：
sentence_split_regex=
4.2 使用buffer_size控制窗口大小
原作者的实现，采用滑动窗口实现，上面在原理部分已经提到过，buffer_size来控制当前句子前、后各取几个句子组成一组来计算Embedding以及相似度。
4.3 注意最小切片大小
另一个要注意的点是min_chunk_size参数，不同于RecursiveCharacterTextSplitter这种从大向小切的方法，SemanticChunker是从一个个句子“合并”为大片段的，这就意味着如果一开始使用正则表达式切分后的句子很短，而它恰好又达到了切分的条件，最终会得到一些非常短的片段。
4.4 注意观察切片后的大小
使用SemanticChunker有时候可能会得到非常大的切片，远远超过了向量模型的长度限制，当然也可以换支持更大长度的向量模型，但句子太长其中的信息会被稀释，也未必一定会带来正向收益。原作者在Semantic Chunking的最后部分提到，可以对较大的进行二次切分，在我的样例代码中也包含了这部分，但并未带来正向收益，欢迎大家积极探索。
4.5 使用层次聚类
使用层次聚类是通过将number_of_chunks赋值为一个具体数字来控制的，而不是一个布尔值，使用方式类似如下：
text_splitter = SemanticChunker( embedding_model, number_of_chunks=number_of_chunks ) docs = text_splitter.create_documents([text])
