GPTCache：用于创建LLM查询语义缓存的库

将您的LLM API成本削减10倍，速度提升100倍。

• 支持OpenAI ChatGPT API。
• 支持langchain。
• 支持minigpt4。
• 支持Llamacpp。
• 支持dolly。
• 支持其他LLM，例如Hugging Face Hub、Bard、Anthropic。

• 支持OpenAI图像创建API。
• 支持OpenAI音频转录API。
• 支持Replicate BLIP API。
• 支持Stability推理API。
• 支持Hugging Face稳定扩散管道（本地推理）。
• 支持其他多模态服务或自托管的大型多模态模型。

• 禁用嵌入。这将使GPTCache成为一个关键词匹配缓存。
• 支持OpenAI嵌入API。
• 支持使用GPTCache/paraphrase-albert-onnx模型的ONNX。
• 支持使用transformers、ViTModel、Data2VecAudio的Hugging Face嵌入。
• 支持Cohere嵌入API。
• 支持fastText嵌入。
• 支持SentenceTransformers嵌入。
• 支持Timm模型的图像嵌入。
• 支持其他嵌入API。

• 支持SQLite。
• 支持DuckDB。
• 支持PostgreSQL。
• 支持MySQL。
• 支持MariaDB。
• 支持SQL Server。
• 支持Oracle。
• 支持MongoDB。
• 支持Redis。

• 支持HBase。
• 支持ElasticSearch。
• 支持其他存储。
• 支持Minio。

• 支持Milvus，一个用于生产就绪AI/LLM应用的开源向量数据库。
• 支持Zilliz Cloud，一个基于Milvus的完全托管的云向量数据库。
• 支持Milvus Lite，Milvus的轻量版，可以嵌入到您的Python应用中。
• 支持FAISS，一个用于高效相似性搜索和密集向量聚类的库。
• 支持Hnswlib，一个用于快速近似最近邻的头文件C++/python库。
• 支持PGVector，Postgres的开源向量相似性搜索。
• 支持Chroma，AI原生开源嵌入数据库。
• 支持DocArray，DocArray是一个用于表示、发送和存储多模态数据的库，非常适合机器学习应用。
• 支持qdrant。

• 支持其他向量数据库。
• 支持weaviate。

• 支持LRU驱逐策略。
• 支持FIFO驱逐策略。
• 支持更复杂的驱逐策略。

• 从向量存储中获得的距离。
• 使用GPTCache/albert-duplicate-onnx模型从ONNX确定的基于模型的相似性。
• 输入请求与从向量存储中获得的请求之间的精确匹配。
• 通过将numpy的linalg.norm应用于嵌入来表示的距离。
• BM25和其他相似性测量。
• 支持其他模型服务框架，例如PyTorch。