BrillAI
BrillAI使用案例：
与Dify结合在文档分析中的创新应用及挑战
随着生成式AI技术的发展，越来越多的企业和个人希望利用其强大的数据处理和分析能力来简化工作流程。在这种背景下，BrillAI成为了一种备受关注的工具，尤其是在处理多文档的内容分析和整理方面。本文将通过一个BrillAI 用户发来的实际案例，探讨BrillAI与Dify结合使用的场景、遇到的挑战及其解决方案。
1
使用场景：多文档分析与资料整理
在平时建设行业的日常工作中，我（GitHub:gaeasteel）经常需要批量处理大量的技术文档数据。因为处理这些文档需要多种模型的配合使用，BrillAI恰好能提供多类型（文本、图片、音频）的大模型接入。为了高效地提取有用信息、整理内容结构以及生成分析报告或内容问答，这次，我引入了BrillAI与Dify结合的解决方案。BrillAI可以处理多个文档，将其分段并进行查找、整理；Dify则负责将这些段落进行知识库嵌入和自动化分析，帮助我完成复杂的文章分析任务。
2
遇到的问题
在使用过程中，主要遇到了两个主要问题：
并发限制：由于需要同时调用多个模型，BrillAI和Dify的并发限制导致部分分析任务被拒绝处理，只有最早提交的请求能够返回结果。而后续的请求则因为超出并发限制而失败。
传参问题：Dify在知识库功能中使用自动分段并调用LLM（大型语言模型）进行分析时，模型的调用是隐式的，导致我们无法配置某些关键参数。例如，max_tokens（最大生成长度）限制了生成结果的字数，导致部分分析任务无法按预期输出完整内容，特别是在处理大段输入时。
3
背后的根本原因
这两个问题的根源在于：
并发限制：BrillAI和Dify的免费用户在并发处理和速率限制上存在较大限制，导致在调用多个模型时同时发生的请求被拒绝。
传参问题：Dify在调用LLM时存在默认的参数设置，特别是max_tokens参数。由于调用是隐式的，开发者无法自定义分段规则或调整max_tokens参数，这影响了某些任务的结果。例如：Dify将max_tokens硬编码为2000，无法通过常规配置进行更改。
4
解决方案：并发升级与参数优化
为了应对并发问题，我通过升级为BrillAI的付费用户，成功将并发限制从3并发提高到1000并发，并且请求处理速率从18RPM（每分钟请求次数）提升至3000RPM。这使得我能够同时处理更多的分析任务，解决了由于并发受限导致的任务被拒问题。
对于传参问题，虽然我无法直接修改Dify的隐式调用参数，但通过与Dify开发团队的沟通，我了解了他们的模型调用机制，并调整了其他相关的配置，使得在使用BrillAI进行文档分析时能够更好地配合Dify的默认参数设置。
5
结语
在整个过程中，可以发现，AI工具的强大功能固然令人惊叹，但其背后复杂的模型调用机制和参数配置也可能带来挑战。对于开发者来说，理解并掌控工具的调用细节至关重要。在这个案例中，BrillAI与Dify的结合极大提升了我的工作效率，但同时也要求开发者具备一定的技术敏感度和应对能力。BrillAI的实验中心（Lab）集成了对话、图像、声音、Embedding等多种模态和模型，让我能够根据不同的需求灵活切换，这为文档分析和资料整理提供了强大的支持，而通过解决并发限制和参数配置问题，我也能够更好地发挥其潜力。
