介绍DSPy框架的核心概念、编程模型、编译器功能，并通过简单的示例展示其应用。
2.3 提词器：自动化提示优化DSPy程序
提词器在DSPy程序中扮演着优化器的角色。提词器利用特定的性能指标来优化DSPy程序模块的提示，与编译器协同工作，以提升程序执行的效率和效果。
以BootstrapFewShot为例，这是一个简单的提词器使用示例：
from dspy.teleprompt import BootstrapFewShot
teleprompter = BootstrapFewShot(metric=dspy.evaluate.answer_exact_match)
目前，DSPy支持五种类型的提词器，各有所长：
dspy.LabeledFewShot：定义预测器使用k个样本的数量。dspy.BootstrapFewShot：引导式启动。dspy.BootstrapFewShotWithRandomSearch：在BootstrapFewShot的基础上增加了随机搜索的特性。dspy.BootstrapFinetune：将提词器设定为BootstrapFewShot，专门用于编译过程中的微调。dspy.Ensemble：将多个程序集成，统一不同的输出为单一结果。
不同的提词器在优化成本与质量方面有不同的取舍。
3 DSPy编译器
DSPy编译器会在内部跟踪你的程序，然后使用优化器（提词器）进行优化，来提升程序性能。这一优化过程会根据你选用的语言模型（LM）规模和特性进行调整：
对于大型语言模型（LLMs），DSPy编译器会构建少量但高质量的示例提示。 对于规模较小的语言模型，则会进行自动微调训练。
简而言之，DSPy编译器能够智能地将程序模块与优质的提示、微调、推理和增强策略相匹配。在后台，编译器会模拟程序在不同输入下的各种运行版本，通过引导式学习不断自我完善，以适应你的特定任务需求。这一过程与神经网络的训练过程颇为相似。
前面创建的ChainOfThought模块，虽然它为语言模型提供了一个良好的起点，帮助模型理解任务，但可能并非最佳提示。正如以下图像所示，DSPy编译器优化了初始提示，省去了手动调整提示的繁琐步骤。
编译器采用以下输入，如代码和图片所示：
程序 提词器（包括定义的验证指标） 一些训练样本
from dspy.teleprompt import BootstrapFewShot
# 带有问题和答案对的小型训练集
trainset = [dspy.Example(question="What were the two main things the author worked on before college?",
answer="Writing and programming").with_inputs('question'),
dspy.Example(question="What kind of writing did the author do before college?",
answer="Short stories").with_inputs('question'),
...
]
# 提词器将引导缺失的标签：推理链和检索上下文
teleprompter = BootstrapFewShot(metric=dspy.evaluate.answer_exact_match)
compiled_rag = teleprompter.compile(RAG(), trainset=trainset)
4 DSPy实践：构建简单的RAG流程
现在已经掌握了DSPy的核心概念，接下来将这些知识应用到实践中，构建自己的第一个DSPy流程。
检索增强生成（RAG）目前在生成式AI领域非常流行。因此，从使用DSPy构建简单的RAG流程开始学习是有非常有意义的。
在开始之前，先安装DSPy。
要安装dspy-ai Python包，可以使用pip：
pip install dspy-ai
步骤1：初始化设置
首先，需要先配置好语言模型（LM）和检索模型（RM）：
语言模型（LM）：采用OpenAI提供的
gpt-3.5-turbo模型。为此，需要OpenAI的API密钥。如果你没有，可以注册OpenAI账户并创建新的密钥来获取。检索模型（RM）：使用Weaviate，这是一个开源的向量数据库。接下来，用一些示例数据来初始化这个数据库。
这些数据来自LlamaIndex GitHub仓库（遵循MIT许可协议）（https://github.com/run-llama/llama_index）。当然，也可以根据自己的需求，用其他数据来替代。
!mkdir -p 'data'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham_essay.txt'
接下来，我们需要将文档拆分成单独的句子，并导入到数据库中。在本文的示例中，使用Weaviate的嵌入式版本，这个版本是免费的，并且不需要注册API密钥即可使用。
需注意的是，在导入数据时，要确保每个数据项都包含名为"content"的属性。这个属性将用于存储句子内容，是Weaviate进行数据检索和处理的关键。
import weaviate
from weaviate.embedded import EmbeddedOptions
import re
# 以嵌入模式连接到 Weaviate 客户端
client = weaviate.Client(embedded_options=EmbeddedOptions(),
additional_headers={
"X-OpenAI-Api-Key": "sk-<YOUR-OPENAI-API-KEY>",
}
)
# 创建 Weaviate 模式
# DSPy 假设集合中有文本键 'content'
schema = {
"classes": [
{
"class": "MyExampleIndex",
"vectorizer": "text2vec-openai",
"moduleConfig": {"text2vec-openai": {}},
"properties": [{"name": "content", "dataType": ["text"]}]
}
]
}
client.schema.create(schema)
# 将文档分割为单个句子
chunks = []
with open("./data/paul_graham_essay.txt", 'r', encoding='utf-8') as file:
text = file.read()
sentences = re.split(r'(?<!\w\.\w.)(?<![A-Z][a-z]\.)(?<=\.|\?)\s', text)
sentences = [sentence.strip() for sentence in sentences if sentence.strip()]
chunks.extend(sentences)
# 批量填充向量数据库
client.batch.configure(batch_size=100) # 配置批量
with client.batch as batch: # 初始化批处理
for i, d in enumerate(chunks): # 批量导入数据
properties = {
"content": d,
}
batch.add_data_object(
data_object=properties,
class_name="MyExampleIndex"
)
现在，可以在全局设置中配置 LM 和 RM。
import dspy
import openai
from dspy.retrieve.weaviate_rm import WeaviateRM
# 设置 OpenAI API 密钥
openai.api_key = "sk-<YOUR-OPENAI-API-KEY>"
# 配置语言模型
lm = dspy.OpenAI(model="gpt-3.5-turbo")
# 配置检索器
rm = WeaviateRM("MyExampleIndex",
weaviate_client = client)
# 配置 DSPy 默认使用以下语言模型和检索模型
dspy.settings.configure(lm = lm,
rm = rm)
步骤2：数据准备
接下来，我们将收集一些训练示例（在这种情况下，是手动注释的）。
# 包含问答对的小型训练集
trainset = [dspy.Example(question="What were the two main things the author worked on before college?",
answer="Writing and programming").with_inputs('question'),
dspy.Example(question="What kind of writing did the author do before college?",
answer="Short stories").with_inputs('question'),
dspy.Example(question="What was the first computer language the author learned?",
answer="Fortran").with_inputs('question'),
dspy.Example(question="What kind of computer did the author's father buy?",
answer="TRS-80").with_inputs('question'),
dspy.Example(question="What was the author's original plan for college?",
answer="Study philosophy").with_inputs('question'),]
步骤3：构建DSPy程序
现在，开始着手编写DSPy程序。这个程序将构建一个检索增强生成（RAG）系统。首先，首先，我们需要定义一个名为GenerateAnswer的签名上下文，它描述了从问题到答案的转换过程：
class GenerateAnswer(dspy.Signature):
"""Answer questions with short factoid answers."""
context = dspy.InputField(desc="may contain relevant facts")
question = dspy.InputField()
answer = dspy.OutputField(desc="often between 1 and 5 words")
在定义了签名之后，编写一个自定义的RAG类，它继承自dspy.Module。在__init__():方法中，声明相关模块，在forward():方法中，描述模块之间的信息流。
class RAG(dspy.Module):
def __init__(self, num_passages=3):
super().__init__()
self.retrieve = dspy.Retrieve(k=num_passages)
self.generate_answer = dspy.ChainOfThought(GenerateAnswer)
def forward(self, question):
context = self.retrieve(question).passages
prediction = self.generate_answer(context=context, question=question)
return dspy.Prediction(context=context, answer=prediction.answer)
步骤4：编译与优化
最后，可以定义提词器并编译DSPy程序。这会更新ChainOfThought模块中使用的提示。对于这个示例，我们使用一个简单的BootstrapFewShot提词器。
from dspy.teleprompt import BootstrapFewShot
# 置一个基本的提词器，编译我们的RAG程序。
teleprompter = BootstrapFewShot(metric=dspy.evaluate.answer_exact_match)
# 编译
compiled_rag = teleprompter.compile(RAG(), trainset=trainset)
现在调用RAG流程，如下所示：
pred = compiled_rag(question = "What programming language did the author learn in college?")
你可以评估结果，并在对流程的性能满意之前迭代过程。
推荐书单
《LANGCHAIN入门指南：构建高可复用、可扩展的LLM应用程序》
这本书专门为那些对自然语言处理技术感兴趣的读者提供了系统的LLM应用开发指南。全书分为11章，从LLM基础知识开始，通过LangChain这个开源框架为读者解读整个LLM应用开发流程。第1~2章概述LLM技术的发展背景和LangChain框架的设计理念。从第3章开始，分章深入介绍LangChain的6大模块，包括模型I/O、数据增强、链、记忆等，通过大量代码示例让读者了解其原理和用法。第9章通过构建PDF问答程序，帮助读者将之前学习的知识应用于实践。第10章则介绍集成，可拓宽LangChain的用途。第11章为初学者简要解析LLM的基础理论，如Transformer模型等。
本书以LangChain这个让人熟悉的框架为主线，引导读者一步一步掌握LLM应用开发流程，适合对大语言模型感兴趣的开发者、AI应用程序开发者阅读。
