预警:全文约1.2万字,期待带给您有价值的信息!
引言:BI和AI大型语言模型结合商业智能(BI)的优势
AI与BI结合的多种模式:主要集中在数据查询分析和可视化展示阶段
AI与BI结合实施的挑战
产品实践案例:网易、百度、京东、腾讯以及观远数据、神策数据等在AI与BI结合方面的实际尝试与应用
体验百度Sugar BI:AI与BI结合的智能问数功能初体验
思考与延伸
01
—
引言
图解:AI与BI结合的实际应用案例-阿里云Quick BI产品架构
我认为AI与BI结合是一个具有实际应用场景和价值的方向。虽然从可用资源和投入产出比的角度来看,我们目前还不适合推动这个方向。
重要的是,本文后续提到的AI,特别是指基于大型语言模型(LLMs)的自然语言处理能力——也就是对话式系统交互的支持。在商业智能(BI)领域,除了大型语言模型外,还有其他的AI技术可以使用。例如,机器学习技术可以被用于销售预测。
AI大型语言模型在自然语言处理与理解方面的应用:AI大型语言模型的强大自然语言处理功能,让用户可以使用他们熟悉的语言来查询和分析数据。这极大地降低了数据分析的学习难度,使得非技术背景的用户也能轻松掌握。同时,AI大型语言模型还能处理和分析非结构化数据,比如客户的评价和媒体内容,从而获取有价值的信息和洞察力,为企业提供全面的数据视角。 AI大型语言模型在智能推理与预测方面的应用:借助AI与BI结合,我们的对话式智能报表系统能够进行智能推理和预测。这种结合不仅提供了数据的深度洞察,而且还能预测未来的趋势,为企业的决策提供强大的支持。AI大型语言模型不仅能够处理现有的数据,还具备基于现有数据进行推理和预测的能力。这意味着,它可以协助用户识别数据中的异常点、趋势以及潜在的问题和机会,为企业决策提供有力的支持。这种能力对于商业智能(BI)领域的企业来说极其宝贵,因为它可以帮助企业预测市场变化,提前做好准备。 AI大型语言模型在代码生成和自动化方面的应用:在AI与BI结合的领域,我们的对话式智能报表系统也能实现代码的自动生成和自动化。AI大型语言模型能够理解和生成代码,这极大地提升了开发效率,降低了开发难度。不仅如此,AI大型语言模型还能够自动化执行一些重复的任务,进一步提升工作效率。AI大型语言模型具有通过自然语言指令生成Python、R等编程语言代码的能力,这大幅度降低了技术入门难度,使得无编程背景的用户也能够执行复杂的数据分析任务。这种自动化的代码生成功能,既提升了数据分析的效率,又扩展了数据分析的应用领域。 新的用户体验形式:在AI与商业智能(BI)结合的领域中,大型语言模型的运用为我们打造出了新的互动方式。在我们的对话式智能报表系统中,用户可以直接通过自然语言进行查询和操作,无需复杂的编程技能,大大提升了用户体验和工作效率。这种新的互动形式不仅简化了数据分析过程,更让数据分析变得触手可及,无需专门的技术背景。利用大型语言模型,我们引入了基于语言的交互方式,这种方式更直观、自然。用户无需学习复杂的软件操作,只需用自然语言表达查询需求。这不仅提升了用户体验,也使得我们的对话式智能报表系统能更好地融入用户的工作流程中。
接下来,一起深入探讨AI大型语言模型与商业智能(BI)结合的实际应用。
02
—
AI与商业智能(BI)结合的多元模式
在商业智能(BI)产品领域,大型语言模型(LLM)被视为现有数据分析方法的有效补充,尤其在即席数据查询、提升传统BI工具的能力以及简单的数据挖掘和洞察等方面。
在当前的趋势下,自然语言处理的对话式商业智能(BI)数据分析正逐渐成为主流。分析存在三种实现AI大型语言模型与商业智能(BI)结合的可能模式:
Text-to-API:在大型语言模型与商业智能(BI)结合的领域,Text-to-API的模式正在逐渐被广泛应用。在这种模式下,AI大型语言模型通过解析用户的自然语言查询,将其转化为API请求,从而实现与后端数据库或服务的交互。这种模式的优势在于,它极大地简化了用户的操作流程,只需要输入自然语言查询,就能获取所需的数据或执行特定的操作。此外,Text-to-API的模式还能够提升数据查询的效率和准确性,因为它直接通过API与后端数据库或服务进行交互,无需经过复杂的中间步骤。即根据基于用户输入的自然语言,系统进行意图识别,并相应地调用匹配的API。
Text-to-SQL模式:在AI与商业智能(BI)结合的领域,Text-to-SQL模式也得到了广泛的应用。在这种模式下,AI大型语言模型将用户的自然语言查询转化为SQL查询,直接与数据库进行交互,获取用户所需的数据。这种模式的优势在于,它能够提供更直接、更高效的数据查询方式,无需用户具备专业的SQL技能,只需通过自然语言即可完成复杂的数据查询。这在很大程度上降低了数据查询的难度,提升了用户体验。即根据根据用户的自然语言输入,系统将进行意图解析,并直接生成SQL语句,以对关系型数据库(如MySQL)进行查询。
在AI与商业智能(BI)结合的领域,Text-to-Code模式正在得到广泛应用。在这个模式中,AI大型语言模型将用户的自然语言查询转化为代码,实现对数据的高级查询和操作。这种模式的优势在于,它能够提供更灵活、更强大的数据处理能力,无需用户具备专业的编程技能,只需通过自然语言即可完成复杂的数据查询和操作。这极大地提升了数据处理的效率和用户体验。即根据用户的自然语言输入,利用AI大型语言模型对相关数据的理解,直接生成代码并执行分析。这可以被理解为ChatGPT中的代码解释器Code Interpreter的功能。
当然,以上提到的模式并非一一涵盖。例如,还有Text-to-JSON等其他方式在AI与商业智能(BI)结合的领域中也有广泛应用。
AI与商业智能(BI)结合:Text-to-API模式 在AI与商业智能(BI)结合的领域,Text-to-API模式正在广泛应用。在此模式中,AI大型语言模型解析用户的自然语言查询,转化为API请求,实现与后端数据库或服务的交互。这种模式简化了用户操作流程,提升了数据查询的效率和准确性。在AI与商业智能(BI)结合的领域,Text-to-API模式的实现相对简单,能快速为已有的BI工具增添自然语言查询功能。但是,其灵活性和扩展性受限于底层BI工具的API。因此,如果API功能较为有限,可能会影响Text-to-API模式的应用范围和深度。它适用于当企业已经部署了拥有丰富API支持的商业智能(BI)工具,并希望快速实现自然语言查询功能时,Text-to-API模式是非常适用的。这种模式能够与现有系统紧密集成,并且能满足对实时性要求较高的场景。 AI与商业智能(BI)结合:Text-to-SQL模式 在AI与商业智能(BI)结合的领域,Text-to-SQL模式也得到了广泛的应用。在这种模式下,AI大型语言模型将用户的自然语言查询转化为SQL查询,直接与数据库进行交互,获取用户所需的数据。这种模式的优势在于,它能够提供更直接、更高效的数据查询方式,无需用户具备专业的SQL技能,只需通过自然语言即可完成复杂的数据查询。这在很大程度上降低了数据查询的难度,提升了用户体验。在AI与商业智能(BI)结合的领域,Text-to-SQL模式被广泛应用,凭借其通用性和强大的功能,直接利用数据库的强大查询能力。然而,它对AI大型语言模型将自然语言转化为精确SQL语句的能力有较高要求,可能需要进行多次定制和优化,尤其是处理复杂查询时。此外,SQL查询的性能优化也是一个重要的考虑因素。它在AI与商业智能(BI)结合的领域,Text-to-SQL模式特别适用于基于标准SQL数据库的数据分析,尤其是在数据结构清晰、查询需求标准化的环境中。对于那些期望利用现有数据库能力,而不依赖特定BI工具的企业来说,这无疑是一个优秀的选择。 在AI与商业智能(BI)结合的领域,Text-to-Code模式正在被广泛应用。在这种模式下,AI大型语言模型将用户的自然语言查询转化为代码,实现对数据的高级查询和操作。这种模式的优势在于,它能够提供更灵活、更强大的数据处理能力,无需用户具备专业的编程技能,只需通过自然语言即可完成复杂的数据查询和操作。这极大地提升了数据处理的效率和用户体验。但是,Text-to-Code模式的实现需要较高的技术门槛,因为它需要AI大型语言模型具备理解和生成代码的能力。然而,一旦实现,它将能够大幅提升数据处理的效率和准确性,为用户提供前所未有的数据查询和操作体验。Text-to-Code模式特别适用于需要进行复杂数据处理和分析的场景。对于那些期望利用现有编程语言能力,而不仅仅依赖SQL查询的企业来说,这无疑是一个优秀的选择。在AI与商业智能(BI)结合的领域,Text-to-Code模式提供了最大的灵活性和强大的数据处理能力,因为它可以直接利用如Python这样的编程语言及其生态系统。这种模式特别适合数据科学和复杂数据分析任务。然而,它也带来了较高的实现复杂度和对执行环境的要求,可能需要更多的安全和性能方面的考虑。在AI与商业智能(BI)结合的领域,Text-to-Code模式特别适用于数据分析需求高度复杂和定制化的场景,需要进行深度数据科学分析。同时,对于对数据安全性和隐私要求较高的场合,Text-to-Code模式也是一个优秀的选择,因为它允许在本地或受控环境中执行生成的代码。
自然语言文本报告:主要利用大型语言模型(LLM)的自然语言生成(NLG)能力,将数据点和分析结果转化为用户易于理解的文本报告。 动态可视化模板报告:AI大型语言模型需要理解用户的自然语言查询,并根据查询内容和意图选择或生成适当的可视化模板,以便合理地展示数据点和分析结果。 交互式数据发现助手:在AI与商业智能(BI)结合的领域,对话式智能报表系统要求AI大型语言模型(LLM)具备更高的能力。这不仅包括深入理解用户的自然语言查询,实时处理数据,生成可视化效果,还包括在交互过程中不断调整和优化输出结果。因此,AI大型语言模型不仅需要具备强大的自然语言理解(NLU)和自然语言生成(NLG)能力,还需要具备一定的逻辑推理和动态交互能力。
03
—
AI与商业智能(BI)结合的实施挑战
尽管将大型语言模型(LLM)与商业智能(BI)系统融合有助于显著提升数据分析和报告的智能水平,并对用户体验产生积极影响。然而,从当前的技术发展和融合状况来看,可能会面临以下挑战:
理解数据的精确性
如果LLM的训练数据中缺乏充足的行业特定知识或上下文信息,模型可能会面临理解复杂业务数据的困难。因此,大型语言模型(LLM)可能在理解复杂数据集、特定行业术语或上下文中的微妙差异方面面临挑战。这可能导致对数据分析结果的误解或错误解读。
幻觉问题(幻觉问题)
数据安全与隐私保护
大型语言模型的通用性与个性化需求
用户体验交互
我们需要保证大型语言模型(LLM)能够提供自然、流畅的交互体验,同时准确把握用户的查询意图和需求,这可能面临挑战。面对用户查询方式和习惯的多样性,我们的对话式智能报表系统需要具备强大的适应性和灵活性。自然语言处理的复杂度,可能会对交互的精确性和用户体验产生影响。
实时性和性能
在需要实时反馈的商业智能(BI)应用中,保证大型语言模型(LLM)提供的方案能满足性能和即时性需求可能会遇到困难。这是因为在AI与商业智能(BI)结合的领域,我们的对话式智能报表系统可能会面临大型语言模型的计算资源和处理时间需求,尤其是在处理大规模数据集或复杂查询时。这可能会对系统的性能和实时反馈能力产生挑战。然而,根据个人的实际体验,这个问题并不严重。相反,商业智能(BI)系统本身可能存在这个瓶颈需要解决。
在AI应用落地过程中,我们发现存在一个"效率-准确性-智能"的不可能三角挑战。如果希望快速且准确地解决问题,可能会在处理复杂问题时显得无能为力;如果需要精确地解决复杂问题,可能需要花费大量的时间进行思考、拆解和处理;如果希望能够迅速地解决复杂问题,可能会不可避免地产生"幻觉"。
腾讯技术工程团队,benze
04
—
实际产品应用案例
探索网易有数ChatBI的实践案例
在2023年,网易数帆团队运用了先进的AIGC技术,推出了一款名为"有数ChatBI"的对话式数据智能助手。这款智能助手基于网易自研的大模型,结合了自然语言理解和专业数据分析能力,使用户可以通过日常对话的方式获取可信赖的数据。大幅度降低数据使用门槛。
图:网易数帆产品全景图展示
京东ChatBI
图解:京东ChatBI的基础结构图展示
结合大型语言模型、公共和私有知识库,以及数据分析应用的扩展,通过自然语言的交互方式,对话式智能报表系统降低了使用难度。同时,通过积累的业务知识和数据资产,提供了精确的分析结果,主要解决了用户在数据理解、获取和分析过程中的复杂问题。
(1)知识知识库的创建和使用
(2)关键技术实力
(3)提升工作效率的应用案例
百度Sugar BI实践案例
SugarBI,作为百度智能云的一项主打服务,是一款敏捷的商业智能(BI)和数据可视化平台。它旨在解决数据BI分析以及报表和大屏的可视化问题。在AI与商业智能(BI)结合的应用中,我们成功地将AI技术融入到产品中,推出了「文心问数Sugar Bot」功能,显著提升了用户的数据分析效率。
图:百度SugarBI中所融入的智能化功能
AI问答:数据可视化Sugar BI集成了百度的自然语言处理(NLP)技术,能够准确理解用户的输入问题,并直接展示Sugar BI智能推荐的适合的可视化形式。根据您在控制面板中拖入的数据字段,系统将自动为您推荐相应的图表。这种数据可视化的方式,不仅提升了数据分析的效率,也大大提升了用户体验。 自动分析:让我来处理数据,您只需查看报表。借助数据可视化Sugar BI,您无需花费时间拖拽创建报表。系统将在几秒钟内,自动将明细数据转化为交互式报表,让您能够进行快速深入的智能数据分析。 相应地,智能问数的适用场景包括: 场景一:在智能问数页面,该功能主要用于获取业务最新动态的数据分析。用户可以在指定页面通过问答的方式向Sugar BI提出业务问题,Sugar BI将以图形的形式返回答案和业务结论。 场景二:在报表或大屏的编辑页面,用户可以借助此功能进行页面编辑。用户可以通过问答交互获取所需的图表类型,然后直接"采用图表"将其一键固定到报表或大屏中,Sugar BI会自动完成图表的数据配置。这是一种新颖的报表或大屏制作方式,同时也为编辑者提供了丰富的制作灵感。
基于NL-to-JSON等技术,文心问数Sugar Bot让用户能通过对话直接完成数据探索,并完成部分报表制作功能。同时,该团队还在深入开发意图理解、指令拆解、图像生成等AIGC技术,以实现基于对话直接满足用户对报表、大屏的生成需求。他们的目标是实现大部分内容的直接生成,即NL-to-X。这将通过生成式AI直接满足更多用户业务目标,逐步实现业务与技术的重构。
(1)AI问数
经过智能处理,用户的查询需求在Sugar BI中得到了满足。BI会自动将这些转换为图表配置,并生成相应的SQL语句进行数据查询。这个过程展示了从需求捕获到数据检索的无缝链接,显著提升了数据处理的效率。获取的数据将根据其特性,由SugarBI的智能图表功能自动匹配到最合适的图表类型,从而生成直观且内容丰富的数据可视化结果。(text-to-SQL+动态可视化模板报告模式)
图:SugarBI AI问答的整体技术架构
(2)自动数据分析功能
数据预处理与分析准备:在启动自动数据分析之前,SugarBI首先确定分析的数据范围,即选定特定的数据字段集合。接着,SugarBI会详细审查这些字段的配置和数据细节,以确保分析的准确性。值得注意的是,SugarBI在这个阶段会遵循设定的用户权限规则,确保数据访问的合规性。在进行表格分析时,系统会根据报表设定的用户权限进行权限检查和数据过滤,以防止越权行为发生。
模型运作分析:在收集完必要的信息后,SugarBI将这些数据输入到自动分析模型中。这个模型基于SugarBI内部大量报表数据进行训练,因此具备强大的分析能力。模型主要提供两类关键信息:一是对数据过滤条件的优先级排名,二是对图表展示字段组合的推荐排名。
图表的创建与优化:根据模型的推荐,SugarBI将自动创建相应的数据过滤条件和图表展示字段组合。在这个过程中,我们的对话式智能报表系统会利用智能图表功能来推荐最适合的图表类型,以最直观的方式展示数据。生成的图表和过滤条件将相互关联,为用户提供了灵活的数据探索能力,如下钻和筛选等。
自动排版报表:最后,SugarBI会自动对选定的过滤条件和图表进行排版,生成最终的报表。这意味着,从选择数据到生成报表的整个分析流程,都由SugarBI的自动分析功能智能化地完成,极大地提升了分析效率和用户体验。
图:SugarBI 自助分析的整体技术架构
腾讯DataBrain
腾讯的DataBrain团队在推出GPT4后,尝试利用其能力构建了一个服务于DataBrain系统的统一语言智能助手示例——ChatBI。这个智能助手让用户可以在统一的语言交互界面完成整个数据分析过程。与京东的ChatBI相似,目前这个产品仅供腾讯内部使用。
观远数据BI
BI Copilot是观远BI利用大型语言模型技术构建的最新模块,该模块接入了微软Azure OpenAI的商用服务权限(可以理解为接入了ChatGPT所使用的技术)。
Chat2Answer通过利用知识库,有助于业务用户理解数据的含义,并提供智能解读。当用户提出与数据相关的问题时,Chat2Answer能够解析数据背后的原因,并提供具体的建议和可执行的方案。
此功能在早期被称为"Chat2SQL"。(也就是我们之前提到的Text-to-SQL模式),通过自然语言交互,助力生成SQL查询语句。以实际工作流程为例:
1. 获取用户的自然语言查询需求,如“各品牌的退款额分别是多少”;2. 将用户的查询需求转化为机器可理解的SQL语句,例如"SELECT `品牌名称`, SUM(`退款金额`) AS `退款额`FROM input1GROUP BY `商品名称`”,返回生成的SQL查询语句给用户;3. 进一步交互式的追问,例如“再加上渠道维度”;4. 再次将其转化为SQL语句,例如“SELECT `商品名称`, `渠道`, SUM(`退款金额`) AS `退款额`FROM input1GROUP BY `商品名称`, `渠道`”,并返回给用户。
当用户遇到问题时,可以直接向Chat2Help寻求帮助。遇到错误或问题时,只需将错误信息复制粘贴到对话框中,Chat2Help将为您解答错误的含义,并提供解决方案。为您提供逐步的错误排查指导和解决方案。
神策数据MixLab实践案例
神策数据的主要产品定位在CDP(客户数据平台)领域,虽然与我们之前提到的“BI”不完全一致,但在我们的研究过程中发现,他们也成功地应用了大型语言模型技术,推出了神策分析 Copilot。(另外还支持用于运营Copilot),它也支持自然语言交互,可以自助进行数据分析和查询,因此我们将其纳入本文的讨论范围内。
从当前的演示介绍来看,它支持的一些应用场景如下:
(1)智能分析:利用大型语言模型理解用户需求,自动设置分析模型
以事件分析为例,如果您在输入框中用自然语言输入需要获取的数据指标,例如"最近7天的搜索点击用户数",AI大型语言模型会将这个自然语言查询转化为请求查询JSON,然后发起查询,并以图形的形式展示结果。
在此,神策团队选择了text-to-json模式,而非text-to-SQL模式,主要基于两个考虑:一是这种模式更易于理解,便于业务人员判断查询;二是这种模式更便于人为干预,例如,如果生成的查询JSON不准确,或是想改变计算方式或查询条件以查看指标变化,都可以快速调整。
其实现流程大致如下:
首先,将schema(简单来说,它是关于数据的存储方式、数据间的关系以及数据的解释信息)输入到GPT中,首先,我们需要将数据的schema(即数据的存储方式、数据间的关系以及数据的解释信息)输入到GPT中,让GPT理解数据的schema和任务。由于存在长度限制,我们需要进行优化设计,从报表的众多字段中筛选出进入到prompt的字段,以缩短prompt。
接下来,由于筛选出的schema会包含许多字段,过多的字段可能会影响GPT的准确率和精度。因此,我们需要与GPT进行交互,让其挑选出与需求相关的字段。
最后,通过AI大型语言模型生成JSON。对于复杂的查询,我们可以先让模型生成一个结构,然后再填充具体的内容。
(2)指标搜索:通过自然语言查询常规指标
借助大型语言模型技术,我们打造了强大的指标搜索功能,使业务人员能够迅速找到当前关注的指标和经营概览,或深入探索特定业务的相关指标。用户可以使用口语化输入,无需输入专业术语或精确的指标名称,也能获取相关的数据指标。
例如在零售领域,假设用户想了解近期的商品销售数据,他们只需向Copilot提出“卖得最好的商品”这样的问题,Copilot就会推送“当天销售最好的商品”、“访问量最高的商品”、“商品销售数量”等相关指标的查询结果,无需专业的数据分析师进行操作。
(3)数据门户融合:数据仓库对话插件
当然,除了以上提到的产品,还有许多其他的AI与BI结合的实践案例。但是,由于时间和精力的限制,我们就不再详细展开讨论了。
据了解,包括但不限于上述提到的通过大型语言模型实现的AI与BI产品,大部分仍处于演示、内部测试或小范围试用阶段,部分已进行推广,但基本上都还未实现大规模商业应用。
相信在用户反馈和持续优化的推动下,结合大型语言模型能力的不断进化,今年内我们将迎来更为成熟、稳定和实用的新版本产品。
05
—
体验百度Sugar BI:初次使用感受
遵循官方指南,我基于示例数据进行了一些初步的探索:
(1)数据模型准备
在设置数据模型的页面上,您可以选择相应的数据表并建立关联:
在编辑页面,您可以将字段名称设置为易于理解的中文别名:
对于基础指标(度量),我们可以为其设置AI问答的同义词。这就像是为其建立一个“知识库”,帮助大型语言模型理解专业术语,因为用户可能会有多种不同的提问方式。
我们也可以创建新的度量(指标加工),这是常规的BI功能:
要使用AI问答功能,需要先开启并等待模型训练完成(但我没有相关权限):
我们还可以设置AI问答的推荐问题,如果你在ChatGPT中自定义过自己的GPTs,对此应该非常熟悉:
接下来,我们可以通过智能问数Sugar Bot与系统进行交互:
当我点击上图中的“需要结论”选项时,系统会自动为我做出如下总结:
并且还能找出数据的不合理之处(确实如此):
总的来说,这是一次非常有趣的体验,它确实提供了一种全新的交互方式,并且已经成功地应用到了实际产品中。如果你对此感兴趣,可以自行申请体验。
需要注意的是,SugarBI存在以下限制:
用户提出的问题的字数限制为300个字符(包括空格)。——我认为这主要是为了控制性能和成本。通过限制用户输入的字数,我们可以有效地控制后端大型模型处理请求的复杂性和资源消耗,同时鼓励用户提出更精练、更具针对性的问题,从而提高处理速度和响应质量。因为除了用户输入的问题,正如观远数据所指出的,我们还需要将数据模式(schema)传递给大型模型,因此压缩整体的提示(Prompt)是必要的。 如果生成的图表不符合预期,可以点击「重新生成」,但最多只能点击三次。——为什么是三次?这个设计可能是为了防止用户无限制地重新生成结果,从而引起资源浪费和系统压力。限制重试次数可以鼓励用户更仔细地思考和优化他们的查询,同时也是一种计算资源的管理策略。此外,这也可能是基于用户行为的统计分析,认为三次重试足以满足大多数情况下的需求调整。 如果在大屏或报表编辑页面中关闭智能问数页面,Sugar BI将会清空之前会话的所有内容。——这一限制可能是基于数据安全和隐私保护的考虑。自动清空会话内容可以防止敏感数据在系统中遗留,尤其是在多用户环境下。此外,这也有助于保持系统的高效运行,避免不必要的数据累积影响性能。
06
—
思考与延伸
在前面的学习内容中,我们主要关注了支持自然语言交互模式下的商业智能(BI)数据查询、分析和可视化呈现。实际上,在从问题定义、数据接入、处理、可视化展示、交互分析到决策行动的全过程中,AI大型语言模型与商业智能(BI)的结合都能发挥重要作用。在整个BI数据分析链路中,AI大型语言模型都有结合的可能性。
(1)问题定义:明确商业问题和目标。
问题: 确定分析的焦点,如提升销售额、优化库存等。 AI赋能: 使用AI模型生成初步的数据分析和决策计划草案,再人工校对修改,以确保方向和目标的准确性。
(2)数据接入:确定并接入数据源。
问题: 如何高效处理和分析非结构化数据。 AI驱动:利用AI技术直接处理非结构化数据,简化传统的数据清洗步骤,加速从数据到洞察的转化过程。
(3)数据处理:进行数据的清洗、转换和加载(ETL)。
问题:简化ETL开发流程,提升数据处理效率。 AI赋能:通过自然语言交互生成ETL任务和代码,辅助数据处理,实现多轮交互式构建,提高数据处理的灵活性和准确性。
(4)数据可视化:将数据转化为易于理解的视觉形式。
问题:快速响应业务问题,提供直观的数据结果和结论。 AI赋能:自动根据问题生成SQL、JSON,利用AI生成文字结论、可视化图表和行动建议,实现问答式BI。
(5)交互分析:进行深度数据分析,生成深度分析报告。
问题:如何自动化生成深度分析报告,提供可信赖的业务分析。 AI赋能: 基于BI系统能力,结合企业内部数据源和AI生成的数据指标,自动识别异常原因并用自然语言展示,减少认知偏差(例如波动分析、异常分析和预警)。
(6)决策行动:基于分析结果,提供决策支持。
问题:如何基于数据分析提供具体的未来行动建议。 AI赋能: 提供辅助性预测和基于历史数据的推荐建议,支持数据驱动的决策过程。
支付宝团队在基于蚂蚁集团基础大模型开发研制数据分析智能助理 Deepinsight copilot的过程中,比较系统化地梳理了结合大模型的数据分析智能助理功能需求,划分了不同的智能化等级,非常值得我们参考和学习:
注:
CoT即思维链(Chain-of-thought),模仿了一个逐步思考的过程来得出答案。
TOT即Tree-of-thoughts,CoT通常只有一条解决问题的路径,ToT等于是CoT的一个拓展,把一条reasoning路径拓展至多条reasong paths,这样模型可以综合多条reasoning path的结果得到最终的结论。
ReAct:即Reason和Action,Reason生成分析步骤,Action生成工具调用请求。是目前最常见和通用的增强式语言模型(Augmented LM)范式,它启发于传统强化学习,通过提示词构造“想法”(Thought),“行动”(Action),“观察”(Observation)的思维链, 逐步启发大语言模型根据当前工具的输出产生观察,从而进一步产生下次推理。这种范式被广泛应用在近期爆火的 Auto-GPT 和 LangChain 等项目中。
ReWOO 即Reasoning WithOut Observation,通过模块化解耦(Decouple)大语言模型的“预见性推理”(Foreseeable Reasoning) 和工具的执行,从而实现在HotpotQA等任务上数倍的词元效率(Token Efficiency), 并且提高了模型表现以及复杂环境下的鲁棒性。在ReAct中, 指令微调不可避免的会导致小模型“背住”训练集中的工具输出。然而,ReWOO由于将显式的工具输出跟模型的推理步骤分离, 可以因此借由指令微调使其学会具有泛化性的“预见性推理”能力。
DAL我没有查到,我估计应该是DSL,即将自然语言转化为特定领域的语言(Domain-Specific Language),也就是我们前面提到的text-to-code。
KG,在这文章中进行了比较深入的探讨,可以移步查看。
AI+BI的融合为商业智能领域带来了前所未有的机遇,通过大语言模型的应用,可以极大地提升数据分析的效率、深度和准确性,同时改善用户体验。
