从"勉强可用"到"真正可用"：ChatBI的破局之道与思迈特实践 ｜爱分析调研

01 

图表2：ChatBI产品能力供需现状对比

1.准确率与稳定性瓶颈

准确率低下是当前企业用户关注的首要问题。在早期，部分企业对ChatBI的能力存在过度乐观的预期，甚至期望其准确率能够达到100%。

然而，经过1至2年的市场教育与实践探索，企业逐渐形成了更为理性的共识：在企业应用场景中，若ChatBI的准确率能够稳定保持在90%以上，则可视为具备基本的可用性。

调研显示，2024年初大多数ChatBI产品的准确率约70%，随着技术的发展与优化，综合准确率普遍有所提升。

但从腾讯对市面上大量大语言模型text2SQL能力的测试来看，该关键能力的准确率基本在62%-79%，可见当下产品在数据处理准确性方面，仍存在显著提升空间。

综合准确率之所以难以突破80%这一瓶颈，主要在于复杂场景的查询需求对准确率产生了较大的拉低影响。在与众多企业的交流过程中发现，企业用户往往并不满足于简单的数据查询，而是更倾向于进行深入的分析。

例如，用户可能先询问“今年哪几个销售做得比较好”，随后又会进一步追问“去年这几个销售的业绩如何”“在哪些行业表现较好”等，形成一连串的复杂问题。目前，大多数ChatBI产品在应对这类复杂连续问题时存在一定的困难，进而导致整体准确率出现下滑。

与准确率问题紧密相连的，还有ChatBI的稳定性问题。如果面对同一问题，ChatBI给出的两次回答存在差异，这同样难以获得企业用户的认可。

为了提升稳定性，一些厂商尝试对基础大模型进行微调，但从实际效果来看，在稳定性提升程度以及成本投入两方面综合考量，这种解决方案并不具备足够的适用性。

2.易用性不足制约应用

易用性是企业提及率最高的方面，主要涉及以下五点：

• 企业对ChatBI生成的结果存在信任问题，在结果出来后，希望查看生成过程，但一般没有相应功能，往往需要回到BI翻表验证。
• 业务人员可能要上传自己的Excel文件，但目前市面上的产品大多需要先导入，导入后还要进行中间的建模过程，若要与之前的模型关联，还需涉及IT部门，基本不允许业务用户直接导入Excel数据进行分析。
• 大多的ChatBI在分析前需要用户先选择数据模型以提升准确率，如分析经营就选经营模型，看会员就选会员模型。不熟悉业务的人常在第一步就卡住，问错模型就得重新来过。企业用户自然希望无需选数据模型，直接提问，让AI自动理解问题。
• 一些用户不想将Excel导入ChatBI再分析，而是希望点击进入Excel后，在页面内直接与AI对话，但当前的ChatBI大多不具备此功能。
• 大型企业管理层日常通过微信沟通，希望在移动端提问，并能将管理层关注的数据/指标每天推送给他们，以更好地体现ChatBI的价值。

3.安全性短板引发担忧

企业内部通常设有不同级别的数据访问权限，例如普通员工、经理、CXO等各级人员所能访问的数据范围各不相同。然而，部分ChatBI产品在权限精细化管理方面存在不足，这在一定程度上影响了数据的安全性。

企业普遍担忧ChatBI接入后可能出现数据泄露或滥用的情况，尤其是涉及财务、企业信息等敏感数据领域。尽管大多数ChatBI产品在常规场景下能够满足基本的安全要求，但在一些复杂场景下却显得力不从心。

以银行为例，其内部存在特别复杂的权限体系。一方面，银行可能拥有多种组织架构，需要适配不同架构下的权限设置；另一方面，可能存在员工虽然归属于某个部门，但同时分管其他部门的情况，这就要求ChatBI能够精准地为这类员工分配跨部门的数据访问权限。

然而，目前部分ChatBI产品无法有效应对这类复杂场景，导致一些员工可能需要多个账号来分别满足不同部门的数据访问需求，这不仅给用户带来了不便，还可能引发数据汇总等操作上的困难，进一步凸显了其在权限管理方面的局限性。

除了权限管理问题，ChatBI还可能面临其他安全风险。如产品采用NL2SQL（自然语言转SQL）方案，这在技术实现上虽有其优势，但也可能带来SQL注入风险。如果攻击者获取了相关接口，就有可能篡改SQL语句，进而绕过安全校验，获取本不应访问的数据。

4.高级分析能力有待提升

高级分析能力通常是通过插件或接口的形式进行扩展的，因为目前ChatBI的核心功能主要集中在数据查询和返回上，主要通过NL2SQL、NL2Python或NL2API等方式实现。

然而，对于其他分析方案、思路的实现，往往需要借助插件来完成，这些插件本质上就是高级分析能力的体现。

目前，市面上的ChatBI厂商大多宣称具备归因分析能力。例如，找出上个月销售额下降的原因，ChatBI可以通过SQL查询列出所有相关维度和属性，但并不进行深入判断，而是让用户自行判断，这属于较为基础的归因分析。

在预测方面，企业对ChatBI的期望也较高。例如，企业希望ChatBI能够根据预期的增长率（如每月增长3%）进行预测，并给出明确结论。

然而，目前多数ChatBI产品在预测功能上仍较为简单，通常只是基于前三个月的数据进行平均计算，然后根据增幅进行简单预测，缺乏更复杂的预测模型和算法支持。

报告生成也是ChatBI高级分析能力的重要组成部分，但目前市面上大部分的ChatBI产品在这方面表现欠佳。

这类产品只能基于查询结果进行简单总结，无法生成完整的报告。即使能够生成报告，与ChatGPT、豆包等智能问答工具生成的报告相比，也难以看出明显差异，缺乏专业性和深度。

5.灵活表达能力受限

在用户需求侧，除了准确率、稳定性、易用性和安全性这些刚需外，企业用户还希望ChatBI能够支持灵活表达。用户不仅希望查询数据，更希望通过数据分析解决业务问题。

既然ChatBI赋予了用户自由表达的能力，就不应该再去限制用户的问法。用户希望以自然语言的方式提出问题，而ChatBI能够理解并给出答案，无论是简单的数据查询还是复杂的业务分析。

然而，在供给侧，市面上大部分的ChatBI产品会限制用户的提问方式。这些产品往往要求用户按照固定的格式或规则提问，例如“查询某机构某指标某日期的数据”，这种限制使得用户难以自由表达真实的业务需求。

例如，用户可能希望直接问“某指标为何出现异常下降”，或者“找出业绩突出的几个销售”，而不是按照固定的格式提问“根据上个月的销售额给我排个序，然后找出前三的”。这种对提问方式的限制，使得ChatBI在实际应用中难以满足用户的灵活表达需求，进而影响了其在企业中的广泛采用。

02 

• 一键跳转透视分析：Smartbi AIChat的对话结果支持一键跳转至“透视分析”页面。用户在对话中查看分析结果后，可直接点击按钮进入透视分析界面，在熟悉的分析工具中自由拖拽字段、验证计算逻辑以及继续深入挖掘数据。
• Excel数据融合分析：Smartbi AIChat将支持业务人员上传Excel进行融合分析。用户可以上传Excel文件，并直接基于Excel数据与企业内部数据进行关联分析，而无需经过复杂的导入和建模过程，也无需涉及IT部门。
• 模型自动推荐：Smartbi AIChat支持“模型自动推荐”功能。用户只需提出问题，系统会自动理解业务语境并智能推荐最匹配的数据模型。如果问题存在歧义，系统会主动反问用户的具体意图，再进行推荐。
  这一功能使得即使是首次使用的用户也能轻松上手，无需深入了解不同问题对应的数据模型，让分析更加准确高效。
• AIChat报表助手：Smartbi AIChat具备独立的AIChat报表助手功能模块，这是一款基于现有报表资源打造的智能对话分析工具。通过在报表页面新增“AI问答”入口，用户可以实现用自然语言与数据直接对话，让报表“开口说话”。
• 移动端体验升级：Smartbi AIChat对移动端体验进行了升级，支持微信小程序和企业微信。无论用户是在外出差、上下班途中，还是在会议前临时需要数据，Smartbi AIChat的移动端都能轻松应对，满足用户随时随地获取数据的需求。

• 金融级数据管控：Smartbi AIChat采用操作权限、资源权限、数据权限三重控制机制，实现数据访问的精细化管理，确保不同级别的用户只能访问其被授权的数据范围，从而有效防止数据泄露和滥用。
• 私有化部署：Smartbi AIChat支持本地化部署，企业无需依赖公有云，这大大降低了数据外泄的风险，提升了数据的安全性。私有化部署使企业能够更好地控制数据的存储和访问，满足对数据安全有较高要求的场景。
• 符合国家安全标准：Smartbi AIChat通过了“三级等保”认证，这一认证表明其符合国家对信息安全的严格要求，能够满足金融、政府、能源等高安全性行业的合规需求。
• SQL注入防护：为了应对SQL注入风险，思迈特采用OLAP多维数据模型方案，在数据处理过程中对所有SQL语句进行中间过滤，有效防止了SQL注入攻击，从而增强了系统的安全性。

• 归因分析：在面对复杂场景的归因分析时，用户仅需轻松输入问题，Smartbi AIChat能够迅速调用适配的归因分析插件，高效完成归因分析，并精准呈现关键因素与策略建议。其达成多指标因果分析的关键步骤如下：
  1.自主定制因果图谱：多指标归因分析的第一步是精准获取目标指标与其他指标的关系。Smartbi AIChat为此配备了因果图谱自定义功能。分析前，用户可以通过可视化操作轻松搭建指标间的因果图谱，并根据业务变化随时调整优化，快速理清指标之间的联系。
  2.按需创建挖掘模型：Smartbi拥有专业的机器学习工具，内置丰富的算法组件，用户可根据实际业务需求选择合适的算法组件来自定义模型。例如，因果分析组件以结构因果算法为核心，能够科学深入地计算指标间的因果关系，适用于多指标因果分析。
  3.Python调用归因分析模型：Smartbi AIChat采用AI Agent智能体技术，借助Python融合Smartbi的专业机器学习能力，能够依据不同场景智能调用适配的挖掘模型，精准洞察复杂问题。
  对于多指标归因分析，Smartbi AIChat根据预设的因果图谱精准获取数据，并通过Python调用相关归因分析模型，深入剖析指标因果关系及其影响较高的维度因素，全面挖掘数据背后的规律。
• 预测分析及报告生成：思迈特充分发挥技术优势，Smartbi AIChat 借助 Python 插件扩展预测性算法，既支持按省份、区域等多维度精准预测，处理高阶分析任务，还能叠加各类算法因子并识别异常；
  同时，依托专家报告插件，可自动生成报告，如用户发现问题可通过对话进行修改，相比传统人工编制大幅提升效率与分析灵活性。
• 专家模式：据了解，Smartbi AIChat配备了一种专家模式，该模式具备深度洞察力，能够模拟人类分析师的思维链路。它支持对复杂问题进行任务拆解和多维度验证，使数据思考过程可视化且可修正。
  例如，当用户有分析想法但不确定如何提问时，他们可以直接向Smartbi AIChat提出想法。该系统能够根据用户的想法拆解任务，列出思考计划和步骤，并逐一完成分析，最终提供数据洞察报告。这种功能有助于使决策过程更加智能和高效。

• 常规的数据查询与分析：Smartbi AIChat能够处理从简单的数据查询到复杂的归因预测和多步计算等任务，满足用户多样化的分析需求。
• 基于Agent平台可编排的分析：Smartbi AIChat支持基于Agent平台的可编排分析，用户可以根据自身业务场景灵活构建独立的Agent BI应用。例如，通过配备OCR插件、爬虫插件、生成Word报告插件、生成PPT插件等，用户能够根据具体需求进行定制化开发，应对专属场景。
• 专家模式：Smartbi AIChat的专家模式能够处理泛化性问题，支持用户以自然语言提出各种业务问题，而不仅仅是固定的查询格式。