企业 FDE

大模型应用分析：腾讯ChatBI提高查询准确性的方法

2024 年 12 月 6 日

—

大模型应用数据分析的背景

1、降低用户门槛，提升市场覆盖

传统 BI 产品上手困难、效率低下、获取不便等痛点一直困扰着用户。而 ChatBI 的出现，改变了这一局面。企业中有不少数据分析小白，如零售行业的一线门店人员、教育行业的老师等，他们往往对传统 BI 工具望而却步。但通过ChatBI，自然语言问数便可获取结果，有效降低了门槛。

2、通过自然语言理解，实现对话即分析

多轮对话、智能追问：当用户得到一份数据分析结果后可以紧接着继续提问，ChatBI 将结合上下文进行回答。当用户的提问较模糊时，ChatBI 能对模糊部分进行智能追问，充分理解意图后再进行回答。例如，用户询问 “2023 年腾讯云 BI 每个月收入是多少？” 后，又接着提问 “2023 年上半年呢？”，ChatBI 能够准确理解用户的意图，给出相应的回答。

输入联想和猜你想问：输入联想可根据用户输入的关键词，快速联想相关问题进行推荐。猜你想问可根据用户当前提问智能推荐相关问题，让分析思路持续不间断。比如，用户输入 “商品销售数据”，ChatBI 会智能推荐 “2023 年各商品品类的销售额分别是多少？”“2023 年销售量前五的商品分别是？” 等相关问题。

导入 Excel 秒出分析结论，并生成可视化图表：除了对数据表进行分析外，ChatBI 还支持从 Excel 文件导入，秒出分析结论，并支持继续提问刨根问底。有效满足小型企业的轻量化数据分析场景。用户只需点击上传按钮，选择微信文件中的 Excel 文件，ChatBI 就能快速解读文件内容，如分析文件中的核心内容、用折线图显示每个月的销售趋势等。

丰富的自定义能力，可配置知识库、数据源、示例问题等：

可添加 “知识库”：让大模型听得懂行业 “黑话”，提升问答的准确率，成为领域专家。用户可以根据自己的业务场景，在 ChatBI 平台上，导入 excel 方式或手动录入一些业务场景知识，如某个指标的定义，专业术语的业务定义，这些知识内容通过向量转换的方式存入到向量数据库中。当用户发起问题的时候，ChatBI 检索知识库信息随后与用户的原始查询一起被送入生成模型，生成更加准确和丰富的回答。

可配置 “示例问题”：灵活支持各种业务场景。例如，订单数据表中，用户可以尝试点击示例问题，如 “4 月截止目前毛利易数量大于 0 的经销商”“4 月鞍止目前毛利务数量为的童代”“3 月存在单日发送小订单数大于 15 前业代” 等。

还可灵活调整 “数据表”：自主控制接入模型的数据。ChatBI 默认不获取数值，只获取表头用于大模型，并返回 SQL 至数据库查询并生成图表，客户数据全程没有出数据库，无需担心数据安全。

多端适配，随时随地进行数据分析： ChatBI 支持移动端（小程序 / H5 页面）、PC 端多个终端展示，能更好的满足不同角色、不同场景下的问数分析需求。例如，一线销售人员或高层领导去见客户的途中，需要查询一些客户相关数据好进一步沟通，通过 ChatBI 支持移动问数，能有效解决随时随地获数难的问题。

—

ChatBI 提高查询准确性的方法

选择合适的问答模式

可信模式：在查询条件百分百准确时，ChatBI 会给出回答。这种模式确保了结果的准确性，适用于对数据准确性要求极高的场景。例如，当用户明确知道所需查询的具体时间、条件、维度和指标时，选择可信模式可以获得可靠的结果。

专业模式：当查询条件非百分百准确时，ChatBI 仍会给出回答。在这种模式下，用户可以通过查看 SQL 进行二次校验结果的准确性。如果查询条件是由 AI 大模型生成，可能存在幻觉问题，此时查看 SQL 可以帮助用户确认结果是否正确。例如，用户提问较为模糊时，ChatBI 会尝试给出回答，用户可以通过查看 SQL 来判断结果是否符合预期。

多轮对话与追问

进入追问模式：通过「继续追问」按钮，用户可以进入追问模式。在这个模式下，ChatBI 会自动联系上下文内容回答问题。例如，用户在查询了 “2023 年腾讯云 BI 每个月收入是多少？” 后，点击「继续追问」按钮，接着提问 “2023 年上半年呢？”，ChatBI 能够结合上下文准确回答。

退出追问：如果追问效果不佳，用户可以退出追问回到单轮问答状态。这样可以避免在追问过程中出现混乱，让用户能够重新整理思路，以单轮问答的方式更清晰地提出问题。

生成总结与验证结果

自动生成数据总结：ChatBI 能够基于问答展示的图表，自动生成数据总结。通过描述性统计，帮助用户快速获取全面且准确的数据概述。例如，当用户查看 “每季度营业积分的趋势” 时，可以点击 [生成总结] 查看图标描述统计概述，同时图表会标注对应数值的参考线。

验证结果准确性：用户可以通过自然语言透出的取数逻辑判断结果的准确性，也可以查看 SQL 进行二次校验。自然语言方式透出所选的数据表和 AI 的取数逻辑，业务用户可以通过取数逻辑判断结果的准确性。对于熟悉 SQL 的用户来说，图表右侧更多按钮下，可点击「查看 SQL」，通过取数 SQL 二次校验结果准确性。

干预问答结果

校正答案：用户可以自定义修改查询条件、删除多余条件或添加新条件，对答案进行校正。例如，如果 AI 给出的回答不符合用户的预期，用户可以调整查询条件，使其更加准确。

换表查询：如果 AI 选错了数据表，用户可点击「换表查询」，校正为正确的数据表。这样可以确保查询结果来自正确的数据源，提高结果的准确性。

提升结果准确性

用户可以反馈回答是否正确，标记及优化查询结果的 badcase，迭代改进模型。下次问题若命中 “标记为正确” 的问题，则自动返回原回答，让模型 “越用越聪明”。通过用户的反馈，ChatBI 可以不断优化自身的性能，提高查询结果的准确性。

—

与其它ChatBI 的产品对比

与 DataFocus、FocusGPT、Tableau Ask Data、Qlik Sense Insight Advisor、IBM Watson Analytics 等产品对比，分析各自的优缺点。

1）DataFocus：通过多轮对话功能，让用户可以逐步深入地提问，从总体数据到细节数据，系统都能准确理解并提供答案。同时，引入了符号推理系统和白盒 text2sql 解析技术，试图提高查询的准确性和透明度。但要达到 100% 的准确性，还需要持续努力。

2）FocusGPT：多轮对话功能灵活且高效。但也不能完全避免模型幻觉和复杂指令的问题。

3）Tableau Ask Data：自然语言查询功能实用，不用再费心去写复杂的 SQL 语句。但自然语言处理能力不如一些新兴的 ChatBI 工具，处理复杂查询时能力有限，用户可能需要手动干预。

4）Qlik Sense Insight Advisor：通过自然语言处理技术，帮助用户生成洞察报告和数据分析，还能根据数据自动生成分析建议。但在处理复杂指令和确保数据隐私安全方面，仍然面临挑战。

5）IBM Watson Analytics：结合了 IBM 强大的人工智能和机器学习技术，支持自然语言查询和高级数据分析，能回答问题、提供数据可视化和分析报告。但实施和维护成本较高，对于一些资源有限的企业来说，可能难以负担。

ChatBI 在多轮对话、自定义能力、多端适配等方面具有优势，但也面临模型幻觉、复杂指令执行等挑战。ChatBI 的多轮对话功能可以让用户深入挖掘数据，自定义能力可以让用户根据自己的需求配置知识库、数据源、示例问题等，多端适配可以满足不同角色、不同场景下的问数分析需求。然而，ChatBI 也面临着模型幻觉和复杂指令执行等问题，需要持续优化大模型和符号推理系统，提升查询的准确性和透明性。