项目简介
这是一个使用LLM代理的完全本地运行的元搜索引擎。用户可以提出一个问题，系统将使用一连串来LLMs找到答案。用户可以看到代理的进度和最终答案。不需要 OpenAI 或 Google API 密钥。
现在有后续问题：
地位
这是一个概念证明，代码很可怕。我还不打算公开这个，但我想与一些人分享。如果您有任何建议，请打开问题和 PR。
特征
完全本地（无需 API 密钥）
在“低端”LLM硬件上运行（演示视频使用 7b 模型）
用户可以看到代理的进度，并了解答案是如何找到的
路线图
将“代理更新”/调试信息与最终结果分开（类似于 langsmith 界面？
实现有状态代理链（以便用户可以提出后续问题）
代码重构，为未来的开发和协作提供更坚实的基础
运作方式
请阅读下文以获得最新的想法。
自托管/开发
目前，这两个选项是相同的。我计划将其打包到单个 docker 映像中，以便于部署。
要求
网络中某处正在运行的 Ollama 服务器
LLocalSearch 使用
hermes-2-pro-mistral模型进行测试，默认情况下会拉取此模型将
docker-compose.dev.yaml文件中OLLAMA_HOST的环境变量设置为 Ollama 服务器的 IPdocker-compose.dev.yaml将文件中的环境OLLAMA_MODEL_NAME变量设置为要使用的模型名称Docker Compose
Make（可选）
撰写文件中包含的有
搜索后端（基于Go Langchain库）
搜索前端（Svelte & Tailwind）
Chroma DB（用于将搜索结果存储在矢量空间中）
SearXNG（代理链使用的元搜索引擎）
Redis（用于缓存搜索结果）
git clone https://github.com/nilsherzig/LLocalsearch.git# make sure to check the env vars inside the compose file# build the containers and start the servicesmake dev # make dev will start the frontend on port 3000. Both front and backend will hot reload on code changes. # or use "make run" to detach the containers (and use "make stop" to stop them)# running "make upgrade" will stop all containers, pull the latest code and restart the containers
如果您尚未 make 安装，则可以在 Makefile 中手动运行这些命令。
现在，您应该能够访问 http://localhost:3000 上的前端。所有其他服务均不向外界公开。
