Step-Back Prompting是Google DeepMind团队在论文Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models中提出的一种Prompt技术。
跟CoT要解决的问题类似，本质上都是In-Context Learning，区别在于CoT是让LLM将求解步骤分开，不要一次输出所有结果，但对于一些复杂的数理问题，如果不知道要用什么理论、公式去解决，即使一步步求解也依然无法获得正确的答案，这就是Take a Step Back这篇论文提出的动机，它通过Prompt让LLM“退后一步”，不要直接尝试解决问题，而是思考解决这个问题更高层次、更抽象的问题是什么。
例如论文中所举的例子：“理想气体的压强P，如果温度增加2倍，体积增加8倍会发生什么变化?”，即使使用CoT，LLM也依然无法回答正确，但使用Step-Back Prompting，让LLM先回忆出来理想气体公式，然后让LLM应用这个公式，问题得到顺利解决。又比如“埃斯特拉·利奥波德在1954年8月至1954年11月期间就读于哪所学校?”，这种问题在RAG中直接检索的话，很可能无法检索到正确的知识片段，但如果换成一个更抽象的问题：“埃斯特拉·利奥波德的教育历史是什么”则很有可能检索到正确片段从而正确回答问题。
作者在SituatedQA这样的文档问答QA数据集上也进行了测试，效果领先于未使用Step-Back Prompting的同类模型。
2 效果对比
虽然从理论上讲，Step-Back Prompting有其合理性，但在不同场景中效果可能未必有论文中那么好，下面是在本系列文章所构建的测试集中测试的结果，基本上是各种方法中最差的，当然这也并不能说明这个方法无效，只能说明在当前场景下它不是一个有效的优化方法。
3 核心代码
完整代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/retrieval/08_step_back_prompting.ipynb
下面核心讲解借助Step Back Prompting进行检索的chain，大致可以分为三个部分：Prompt构建、生成更抽象的问题、检索。
用于生成更抽象问题的Prompt构建：
FewShotChatMessagePromptTemplate, ChatPromptTemplate
examples = [
{
: ,
: ,
},
{
: ,
: ,
}
]
example_prompt = ChatPromptTemplate.from_messages(
[
(, ),
(, )
]
)
few_shot_prompt = FewShotChatMessagePromptTemplate(
example_prompt=example_prompt,
examples=examples
)
prompt = ChatPromptTemplate.from_messages([
(
,
),
few_shot_prompt,
(, )
])生成更抽象问题的Chain：
step_back_query_gen = ( prompt | llm | ( ai_msg: ai_msg.content) | ( x: x.replace(, ).replace(, ).strip() x.lower().startswith() x) )
试用一下：
step_back_query_gen.invoke({: })结果：
什么是影响个人贷款违约率的主要因素？
完整的检索chain：
HuggingFaceBgeEmbeddings
Chroma
model_path =
embeddings = HuggingFaceBgeEmbeddings(
model_name=model_path,
model_kwargs={: device},
encode_kwargs={: },
query_instruction=
)
vector_db = Chroma.from_documents(
splitted_docs,
embedding=embeddings,
persist_directory=persist_directory
)
retrieve_chain = (
step_back_query_gen
| ( x: vector_db.similarity_search(x, k=top_k))
)
retrieve_chain.invoke()