Dify 团队在最新的 0.6.11 版本中与 Firecrawl 达成合作，为知识库引入了同步 Web 站点数据的全新功能。这一更新不仅丰富了知识库的数据来源，还为用户提供了更加便捷、高效的信息获取方式，大大提升了用户体验。此外，本次版本更新还支持在 Workflow 中添加注释，从而增强了团队协作的效率和便利性。
Firecrawl 是一款强大的网页爬取和转换工具，它可以将任何网站的内容提取并转换为干净、结构化的 Markdown 格式。通过 Firecrawl 处理后的网站数据，非常适合作为 LLM 的上下文信息使用。你可以利用这些高质量的结构化数据，在 Dify 平台上便捷地构建 RAG 应用。
API 和功能配置
Dify 的知识库页面新增了"同步自 Web 站点"的选项，只需从 Firecrawl 获取 API 密钥即可完成配置。值得一提的是，Firecrawl 的云服务 API 还提供了 500 个免费页面的抓取额度，为用户提供了充足的试用机会。
Firecrawl 会爬取所有可访问的子页面，并以结构化的 Markdown 格式返回结果。在 Dify 中，我们提供了一些选项，让你可以根据特定需求灵活设置页面爬取的数量和深度限制。
"爬取子页面"选项包括：
数量限制：设置需要爬取的子页面总数上限。
最大深度：设置相对于输入 URL 的最大抓取深度（深度为 0 时仅抓取输入的 URL 页面，深度为 1 时则会抓取该 URL 页面及其一层直接子页面）。
这两个选项可以满足你的大部分基本爬取需求。此外，我们还提供了排除和包含路径的选项，以进一步细化你的网页爬取范围。
使用 Dify 进行数据嵌入和应用构建
Firecrawl 能够高效地并行爬取网页，快速交付结果。爬取过程完成后，你可以直接在爬取结果中选择所需的网页数据。选定的网页数据随后可以进行进一步的文本预处理和清理步骤。完成这些步骤后，数据将被嵌入并存储在 Dify 的向量数据库中，作为新的知识库供你在构建 RAG 应用时使用。
除了为 Dify 知识库集成网页数据源外，Dify v0.6.11 还引入了注释功能，以便团队在构建 Workflow 时进行协作。你可以在 Workflow 编排页面的任意位置添加注释，与团队分享想法和思路。当你以 DSL 文件的形式将 Workflow 分享到社区时，这些注释将被保留，让你能够有效地和社区分享你的创意。
除了上面已经分享的两个主要更新之外，我们还集成了一些新的特性和改进：
新增了包括腾讯混元在内的三个模型供应商，并对四个模型供应商的模型进行了更新，包括 Jina-CLIP-v1 嵌入模型。 新增 TiDB、Chroma 和腾讯云向量数据库的支持。 依赖管理：我们正在从 pip 过渡到 poetry，以实现更佳的包管理体验。poetry 支持更快的并行依赖下载和更优的冲突解决。 Dify 工作区的团队设置中新增了“编辑”角色：编辑者现在可以在工作区中添加和编辑应用程序，但不能管理团队设置，实现了更精细的权限设置。
