大多数 RAG 都建立在这个技术栈之上；为什么每次都要重做呢？
照片由 Warren 拍摄于 Unsplash
RAGs 让 LLMs 变得有用。
是的，在 RAG 出现之前，LLMs 仅仅是玩具。除了对 LLM 进行一些琐碎的情感分类之外，没有多少应用。这主要是由于 LLM 无法随时随地学习。任何实时的东西都无法与 LLM 配合使用。
当 RAGs 开始实践时，这种情况发生了变化。
RAGs 允许我们使用实时数据构建应用程序，并且它们帮助我们使用 LLMs 构建围绕我们私有数据的智能应用程序。
但是，如果你问任何构建 RAGs 的人他们的技术栈是什么，你就会听到一个古老而破损的录音机。所有 RAG 管道的前几个阶段都非常相似，核心技术几乎没有替代方案。
我的首选入门应用程序具有以下技术：Langchain（LlamaIndex 是唯一可比的替代方案）、ChromaDB 和 OpenAI，用于 LLMs 和嵌入。我经常在 docker 环境中进行开发，因为结果很容易在其他人的计算机上重现（除了它们带来的许多其他好处）。
就我的需求而言，我很少打包它们。当我这样做时，我使用 Streamlit 或 Gradio。我以前使用 Django。它是一个很棒的 Web 开发框架。但是，如果你是一名全职数据科学家，你最好在 Streamlit 或 Gradio 之间做出选择。
由于我注意到我总是从这个技术栈开始项目，因此我创建了一个项目模板，这样每当我有一个想法时，我就不想在无聊的基础知识上浪费时间。
我将与你分享这篇文章；也许你也可以节省时间。
如何在几分钟内启动一个 RAG 应用程序
在深入研究任何细节之前，让我们先让我们的基本 RAG 应用程序启动并运行。
要使其工作，你必须在你的计算机上安装 Docker 和 Git，并拥有一个 有效的 OpenAI API 密钥。
首先克隆以下存储库。
git clone :thuwarakeshm/ragbasics.git
cd ragbasics在项目目录中创建一个 .env 文件，并将你的 OpenAI API 密钥放入其中。
OPENAI_API_KEY=sk-proj-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
你已准备好构建并运行一个 docker 实例，该实例将打开一个 RAG 应用程序。以下是如何操作：
docker build -t ragbasics .
docker run -p 8000:7860 --env-file .env --name ragbasics-001 ragbasics如果这是你第一次构建此镜像，则需要几分钟，服务器将准备就绪。打开你的浏览器并访问地址 https://localhost:8000 以访问该应用程序。
RAG 入门模板 — 作者提供的图片。
你可以上传你的任何 PDF 文档并提交它们。提交后，该应用程序将对你的文档进行分块，并从这些块中创建一个矢量存储。然后，你可以询问有关该文档的问题，该应用程序将回答这些问题。
运行中的 RAG 入门模板 — 作者提供的图片。
你可以立即更改什么？
这个应用程序远非完美。但它也是大多数 RAG 应用程序的共同元素。
除此之外，我们还会更改一些东西。其中最重要的是 RAG 的提示。最终的响应是通过单个 LLM 调用生成的，其中检索到的信息作为上下文。此 提示模板 在我们的响应质量中起着至关重要的作用。
我使用了一个基本模板。只是要求 LLM 根据上下文回答用户的问题。但是你可能必须修改它才能获得更好的质量响应，或者避免响应特定查询。
因为它非常常见，所以我已从 pyproject.toml 文件中提取了它。你可以在配置文件中指定你的提示，而不是进入代码库。
我更改的另一个常见的事情是 分块策略。
分块是我们如何将一个大文档分成小块（可能）只有一个想法。递归字符分割和 Markdown 分割是两种最流行的分块策略。
递归字符分割将你的文档中的所有内容都视为文本，从而创建一个移动的块窗口。如果将块大小设置为 1000，将重叠设置为 200，则移动窗口会将前 1000 个字符放入第一个块，将第 201 个字符到第 1200 个字符放入第二个块，依此类推。如果使用此策略，你通常需要更改块大小和重叠。你可以在你的 pyproject.toml 文件中直接执行此操作。
如果你的文档已经采用 Markdown 格式，则可以使用此信息创建更多信息丰富且相关的块。你可以在配置文件中完成所有这些操作。这是一个示例。
[chunking]
strategy = "recursive_character_text_splitter"
chunk_size = 1000
chunk_overlap = 200
## strategy = "markdown_splitter"
## headers_to_split_on = ["##", "###", "####", "#####", "######"]
## return_each_line = true
## strip_headers = false
[rag_prompt]
prompt_template = """
Answer the question in the below context:
{context}
Question: {question}
"""如果你希望向应用程序添加新的分块技术，可以通过实现 ChunkingStrategy 抽象类并在 Chunker 类中注册它来实现。
## Create a chunking strategy
## chunking\your_chunking_stragey.py
from typing importList
from chunking.chunkingimportChunkingStrategy
from langchain.docstore.documentimportDocument
classYourChunkingStrategy(ChunkingStrategy):
def chunk(self, documents: List[Document]) -> List[Document]:
# implement your own chunking technique here
pass
## Register the new chunking strategy
## chunking\__init__.py
from chunking.your_chunking_strageyimportYourChunkingStrategy
classChunker:
def __init__(self):
...
elif config["chunking"]["strategy"] == "your_chunking_strategy"::
self.chunking_strategy = YourChunkingStrategy()
else:
raise ValueError(f"Invalid chunking strategy: {config['chunking']['strategy']}")工程师花费大量时间进行分块，并且没有一种方法比其他方法更好。我之前已经记录了一些我学到的关于分块的知识。这是一个使用许多超参数调整的实验过程。
拥有这样的模板可以帮助我们更快地完成它。它还可以帮助我们轻松地与另一个人沟通流程。
部署到 Huggingface
构建完你的应用程序后，下一件重要的事情就是部署它。
有很多选择，但 huggingface spaces 对于数据科学家来说既简单又受欢迎，所以我们将坚持使用 Huggingface。
为什么选择 Docker？
我主要使用 Docker 封装器来构建应用程序。原因有几个。
首先，我可以与同事共享它，并且该应用程序几乎总是在他们的计算机上以相同的方式运行。
其次，我可以轻松地向技术栈添加更多技术。例如，假设我想使用 Neo4J 而不是向量存储来创建知识图谱（如本例所示）。我只需创建一个 docker-compose 并向其中添加一个 Neo4J 容器即可。
第三是 Docker 与 Huggingface 的兼容性。您可以快速将 Docker 容器部署到 HF Spaces。我们讨论中的示例使用了 Gradio，它也与 HF Spaces 兼容。但 Docker 在使用上更灵活。
转到 HF Spaces 并创建一个新的空间。如果您按照本例操作，免费的 CPU 选项应该足够了。对于更强大的应用程序，您需要更多资源。
创建 HF 空间 — 作者的截图。
确保您已为空间 SDK 和一个空白模板选择了 Docker。
创建后，您将看到关于克隆和更新空间存储库的说明。将其克隆到您的计算机上，将您的项目文件复制到此存储库，然后将更改推回空间。
警告：不要直接将您的 .env 文件推送到 HF Spaces。
cd <project_directory>
git clone <hfspace_repository> hfspace
cp -r app.py Dockerfile pyproject.toml requirements.txt chunking hfspace
git add .
git commit -m "Deploying basic RAG app"
git push当您推送更改后，HF 空间将构建并部署您的 Docker 容器。
HF 空间构建和部署 Docker 容器 — 作者的图片
但该应用程序尚不可用。还记得我们在将更改推送到 HF 空间时忽略了 .env 文件吗？我们必须通过 HF Space 设置安全地提供环境变量。
您可以在 HF 空间的设置选项卡中的变量和密钥部分找到此配置。单击“新建密钥”按钮并提供 OPENAI_API_KEY 变量。
在 HF Space 中添加环境变量 — 作者的截图。
保存密钥后，应用程序将重新启动。您现在可以访问该空间并查看您的应用程序实时运行。
部署到 Huggingface 空间的基本 RAG — 作者的截图。
最后的想法
检索增强型应用程序是 LLM 的主要用例之一。但是，大多数 RAG 应用程序使用相同的技术栈，因此工程师花费大量时间重复执行基础工作。
我创建了一个模板项目，每当我想要启动一个 RAG 应用程序时，它都会帮助我。这是一篇关于此模板的文章。您可以窃取它来快速构建 RAG 应用程序并将其部署到空间中，或者创建一个与此类似的应用程序，并且永远不必再担心样板文件。
