项目简介
项目：有多种类型的代理（项目），每种代理都有自己的功能。（ rag， ragsql， 推理， 视觉）
用户：用户表示系统的用户。它用于身份验证和授权（基本身份验证）。每个用户可以访问多个项目。
LLMs：支持 LlamaIndex 支持的任何公共或 LLM Ollama 支持的任何本地LLM。
VRAM：自动VRAM管理。RestAI 将管理 VRAM 使用情况，根据需要和请求自动加载和卸载模型。
API：API 是 RestAI 的一等公民。所有端点都使用 Swagger 进行记录。
前端：restai-frontend 有一个可用的前端
项目类型
RAG
嵌入：您可以使用 llamaindex 支持的任何嵌入模型。检查嵌入定义。
Vectorstore：支持两个向量存储：
Chroma和Redis检索：它具有嵌入搜索和评分评估器，允许您评估嵌入的质量并在 LLM.还支持重新排名，ColBERT 和LLM基于。
加载器：您可以使用 llamaindex 支持的任何加载器。
沙盒模式：RAG 代理（项目）具有“沙盒”模式，这意味着当所提供的问题没有嵌入时，将给出锁定的默认答案。这对于聊天机器人很有用，在聊天机器人中LLM，当不知道如何回答问题时，您希望提供默认答案，从而产生幻觉。
评估：您可以使用 deepeval 评估您的 RAG 代理。在 RAG 终结点中使用该
eval属性。
RAGSQL
连接：提供 MySQL 或 PostgreSQL 连接字符串，它将自动爬网数据库架构，使用表和列名称，它能够弄清楚如何将问题转换为 sql，然后编写响应。
推理
视觉
text2img：RestAI 支持本地 Stable Diffusion 和 Dall-E。它具有提示提升功能，LLM内部用于提升用户提示的更多细节。
img2text：RestAI 默认支持 LLaVA、BakLLaVA。
img2img：RestAI 支持 InstantID 和 Qwen-VL 默认。
稳定扩散 & InstantID
LLaVA公司
LLMs
您可以使用 Ollama 和/或 LlamaIndex 支持的任何LLM产品。
安装
RestAI 使用 Poetry 来管理依赖项。使用
pip install poetry.
