Dify 在最新的开源版本中集成了 SQL 向量数据库 MyScaleDB，并支持向量检索、全文检索和混合检索。现在，开发者不仅能利用 MyScaleDB 强大的 SQL 能力与向量搜索功能，还能通过 Dify 的直观界面轻松编排和调试 prompt，快速创建智能客服、文本生成等多种 AI 应用。此次集成让 AI 应用开发变得前所未有的简单有趣，为 AI 社区注入了更多活力与创意。
介绍 MyScaleDB
MyScaleDB 是一个开源的高性能 SQL 向量数据库，基于 ClickHouse 构建，完全兼容 SQL 语法，支持向量搜索、过滤搜索和 SQL-向量联合查询。MyScaleDB 统一了 SQL 数据库、数据仓库、向量数据库和全文搜索引擎，提供高效的多模态数据管理。
在 LLM 应用的可观测性方面， MyScale AI 数据库擅长存储海量的 agent 执行记录数据，并通过 MyScale Telemetry 收集和分析 RAG 系统在 MyScaleDB 上运行时的各种数据且提供有价值的分析。这有助于用户根据这些数据分析优化 agent 工作流程，调优模型，不断提高系统的可靠性和性能。
MyScaleDB 专为构建和扩展 AI 应用而设计，其目标是在保证强大的数据处理能力的同时，帮助开发者使用熟悉的 SQL 更简单、高效地构建和扩展 AI 应用。它适用于需要处理大规模向量数据，并结合结构化数据进行复杂查询的AI应用场景。
在 Dify 中使用 MyScaleDB
创建 MyScale Cluster
Dify 支持开源版 MyScaleDB 或企业版 MyScale Cloud，如果希望使用开源版 MyScaleDB，可以跳过本节。
如果希望使用 MyScale Cloud，请首先访问 https://console.myscale.com 注册并登录，然后点击右上角的 New Cluster 按钮，开始创建 MyScale Cluster。
输入 Cluster name 后，点击 Next 按钮，等待 Cluster 启动完成。
把鼠标移至 Cluster 右侧的 Actions 按钮，点击弹出列表中的 Connection Details，记录 Python 标签页中的 host/port/username/password 信息，用于后续配置 Dify 对 MyScale Cluster 的访问。
配置和运行 Dify
在 Dify 中使用 MyScaleDB，首先需要部署 Dify 社区版，推荐参考官方文档。
https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose
使用 docker compose 启动 dify 之前，修改 .env 文件，填写 MyScale 相关配置：
首先将 VECTOR_STORE 改为 myscale：
VECTOR_STORE=myscale
如果使用 MyScale Cloud 版本，按照网页上获取到的信息修改对应配置（ MYSCALE_DATABASE 可以不改）；如果希望使用开源版 myscaledb，下列配置可以保持不变：
MYSCALE_HOST=myscaleMYSCALE_PORT=8123MYSCALE_USER=defaultMYSCALE_PASSWORD=MYSCALE_DATABASE=dify
如果需要支持多语言，比如中文的文档，请参考 MyScale 官方文档配置 MYSCALE_FTS_PARAMS 参数。例如使用中文分词器，MyScaleDB 中创建全文索引的 SQL 如下（文本信息在 MyScale 表中的 column name 为 text）：
MyScale 官方文档：
https://myscale.com/docs/zh/text-search/
ALTER TABLE [table_name] ADD INDEX text_idx textTYPE fts('{"text":{"tokenizer":{"type":"chinese", "case_sensitive":false}}}');相对应地修改 MYSCALE_FTS_PARAMS 为：
MYSCALE_FTS_PARAMS='{"text":{"tokenizer":{"type":"chinese", "case_sensitive":false}}}'修改完毕后，启动 Dify：
docker compose up -d
在浏览器中访问 http://localhost 使用 Dify。
在 Dify 知识库中，你可以选择使用 MyScaleDB，且 MyScaleDB 同时支持向量检索、全文检索和混合检索，可以在创建知识库时选择检索方式。
对开发人员的好处
开发门槛极低
Dify 通过简化开发流程、提供可视化工具和各种开箱即用的功能，创造低代码开发环境，让开发者甚至非技术人员都能参与 AI 应用的创建和优化。而 MyScaleDB 完全兼容 SQL，开发者可以使用熟悉的 SQL 语法进行向量搜索、过滤搜索和 SQL-向量联合查询等操作，无需学习复杂的新工具或框架。另外，MyScaleDB 还提供了统一的平台来管理和处理结构化数据、向量数据、文本等多种类型的数据，简化了开发流程。两者的结合大大降低了 AI 应用开发和运营的门槛，使得更多开发者能够快速构建和扩展 AI 应用。
高性能和可扩展性
Dify 内置了高质量的 RAG（检索增强生成）引擎，可以有效提升基于知识库的 AI 应用的准确性和响应速度。Dify 的设计支持应用的快速扩展，可以随着业务需求的增长轻松扩展AI应用的规模和功能。另外，Dify 还提供包括提示词工程、上下文管理、日志分析和数据标注等功能，帮助用户持续优化 AI 应用。
MyScaleDB 利用先进的 OLAP 数据库架构和自研的先进 MSTG 向量算法，不仅可以轻松地扩展应用，还能保证快速地向量搜索。MyScale Telemetry 提供了类似于 LangSmith 的功能，用于改进 LLM 应用程序的可观察性和评估。通过与 LangChain Callbacks 无缝集成， 它捕获详细的跟踪数据并将其存储在 MyScaleDB 中，从而便于诊断问题、优化性能和了解应用程序行为。
写在最后
展望未来，MyScaleDB 和 Dify 将继续探索 AI 创新应用的更多新方向。我们相信，这将为开发者带来更多便捷、高效的工具，推动 AI 技术在各个领域的广泛应用。
