导读 大模型时代为智能数据分析带来了机遇与挑战。结合 LLM 和语义层可有效解决当前数据分析的痛点，推动其普及和民主化。未来技术将进一步强化大模型 Agent 在数据分析中的作用，成为企业决策和业务流程的重要组成部分。高效融合结构化与非结构化数据，通过大模型智能分析 Agent 实现创新突破，已成为企业数字化转型的关键。借助该技术，企业能充分挖掘数据价值，提升决策科学性和精准度，从而在竞争中占据优势。
1. 大模型时代的智能数据分析背景
2. 痛点与解决思路
3. 成功案例
4. 未来展望
分享嘉宾｜岑润哲 数势科技 数据智能产品总经理
出品社区｜DataFun
01
大模型时代的智能数据分析背景：LLM 如何推动数据分析的普及
管理者/业务人员通过 LLM+Agent 架构直接使用数据，降低门槛。 语义层提供标准化数据表示，帮助非技术用户理解和利用数据。
LLM+Agent 架构理解自然语言查询，自动执行分析任务。 数据语义层定义数据的业务含义，使其更易理解和操作。 整合客户旅程数据，提供全面客户体验视图。 智能分析工具便于非专业用户分析数据。 数据治理确保数据质量和一致性。
02
痛点与解决思路：如何结合 LLM 与 Semantic Layer 助力数据获取、数据分析与数据洞察
1. 常见痛点
2. 针对数据提取的解决方案
虽然自然语言处理和 NL2SQL 可以部分解决数据提取问题，但在企业级分析中，由于数据量大、复杂性高和安全性要求，这些方法常难以提供准确结果。此外，即使 SQL 查询语句正确，面对百亿级数据量时查询也可能无法及时完成。因此，需要探索更先进的解决方案，如结合大模型和数据语义层来优化数据提取过程。上图展示了一种基于大型语言模型（LLM）的自然语言到 SQL（NL2SQL）转换方法，旨在通过对话式查询简化数据提取，降低对专业 SQL 知识的依赖。
标准 NL2SQL 方案：
用户通过对话式界面提出数据查询请求，大语言模型理解查询意图并将其转换为结构化查询任务。数仓语义层将该任务映射到数据库，生成相应的 SQL 语句。通过 SQL 服务执行该语句，查询企业数据中台，并将结果反馈给用户。
NL2SQL 方案技术挑战与痛点：
准确率低：企业级应用中的数据查询准确率通常仅为 60-70%，即使先进的 GPT 模型也难以实现可用的准确效果。 成本高：大模型需进行预训练以理解企业数据，庞大的数据源会导致高昂的学习成本，包括增量预训练和长窗口处理。 性能差：大模型生成的 SQL 可能未优化，导致查询效率低下，尤其在多表关联查询时，可能引发服务异常。 数据安全风险：直接使用大模型查询数据可能缺乏必要的权限管控，增加隐私泄露和安全风险。 能力单一：大模型在处理高级分析问题时受限，往往依赖底层数据库引擎的特定能力，而非 SQL 语句本身。
数据集成：连接各类数据源，提供全面的数据基础。 数据准备：清洗、转换和标准化数据，确保数据质量。 虚拟化：通过低代码构建指标虚拟化，用户可视化定义数据指标。 多维计算引擎：支持复杂多维 OLAP 计算，满足不同业务场景需求。 性能优化：平衡效果与成本，确保高效性和经济性。 数据安全与权限管控：实施数据安全策略和权限管理，保护数据隐私。 消费集成：提供 API 或数据推送能力，便于与不同应用和服务集成。
预设数据指标的定义与管理，确保一致性和准确性，避免业务理解偏差。 采用思维链分析和歧义反问技术，提升查询泛化性，减少从文本到 SQL 的误差。
自研数据查询加速引擎，智能优化查询语句，实现 Top95 查询的秒级响应。 确保在高负载情况下系统稳定运行。
提供一站式定义、自动开发和管理指标语义的解决方案，降低用户学习成本。 全流程白盒设计，允许企业客户用业务语言描述查询，便于快速理解和排查。
利用指标权限管理，精细化控制数据与指标的权限，确保查询安全性和可控性。
处理高级数据分析问题，通过精准指标关联与展示，实现单项查询、报表展示和总结报告生成。
用户界面：交互式数据查询界面。 大模型能力：意图理解和任务规划，将需求转化为数据查询任务。 Agent规划层：将用户需求转化为具体的数据查询操作。 指标语义层：定义和管理数据指标，提供查询的语义基础。 数据平台：存储和管理复杂数据的企业级平台。 数据层：执行数据查询并提供结果。
任务难度：非常高。 难点：枚举值转换、同环比计算、多维归因、报告解读。 NL to SQL：难以实现，需要复杂 SQL 处理。 NL to Semantics：可实现且易理解，语义层提供清晰的归因分析和报告解读。
请求数量：最高 描述：基础数据查询和事务型查询。 示例：查询特定时间的数据，如“今年 10 月不同网点的有效户数”。 特点：直接、具体，用于回答基本数据问题。
请求数量：低于事实层 描述：进行数据统计分析，如同比和环比。 示例：分析“今年 10 月不同网点的有效户数及月环比”。 特点：初步分析，帮助理解数据趋势和模式。
请求数量：低于洞察层 描述：洞察归因、异常和趋势分析。 示例：分析“今年 9 月到 10 月的有效户数变化”。 特点：深入分析，揭示数据变化的原因和影响。
请求数量：最低 描述：核心指标复盘与高级决策支持。 示例：“对今年 10 月份进行业绩复盘”。 特点：提供深入分析和基于数据的决策建议。
目标（Goal）：定义数据分析的最终目标。 专家雇佣（Expert Recruitment）：根据目标雇佣不同领域的专家，确保分析全面。 协同决策（Collaborative Decision-Making）：专家协作解决复杂问题。 动作执行（Action Execution）：执行具体分析动作。 结果评估（Evaluation）：评估分析结果，确保符合用户需求和业务逻辑。 正负反馈（Reward Feedback）：提供反馈以优化分析过程。 结果（Outcome）：输出最终分析报告，包括数据、逻辑和业务洞察。
3. 针对数据洞察的解决方案
结构化信息：包括指标、时间、维度等，这些是数据分析的基础。
半结构化信息：涉及指标血缘和指标树结构，这些信息有助于理解数据的来源和关系。
非结构化信息：涵盖报告结构、策略文档、SOP 手册、操作手册、行业话术和系统链接等，这些信息为数据提供了业务背景和上下文。
丰富的算子库：包括描述性统计、占比分析、趋势分析、相关性分析、异常分析、排名分析以及最优可视化选择路径等，这些算子用于对数据进行各种分析和处理。
行业化的 Prompt 设计：涉及角色设计、技能设计和 Few Shot 学习，这些设计有助于定制化地解决特定行业的问题。
大模型与小模型在数据分析中各有优势：大模型擅长归纳总结，小模型精于统计计算。结合两者能提高分析效率。例如，在客户订单量分析中，传统方法需 4 小时手动提取数据和编写报告，而新方法利用大模型调度小模型进行数据处理，提升了效率并确保报告的准确性和深度。输出的可视化图表和详细分析由两者共同完成，结合企业知识库和 SOP，生成更具业务洞察力的报告。通过协同工作，小模型确保统计准确性，大模型提供深入洞察，使数据分析报告更全面、实用，助力企业决策。
03
成功案例：某头部金融机构智能分析助手落地案例
数据分析场景（应用） 企业经营分析：对银行的经营状况进行深入分析。 企业营销复盘：评估和分析营销活动的效果。 业务团队日常用数：支持业务团队在日常工作中使用数据进行决策。
理财产品销售分析： 理财经理通过自然语言查询，了解上个月销售额最高的理财产品，以便优化产品推荐策略。 信用卡业务分析： 系统通过自然语言交互，分析信用卡逾期率最高的客户群体特征，帮助银行采取针对性措施降低风险。 客户行为分析： 运营团队通过自然语言查询，分析客户流失率与服务质量、产品竞争力等因素的关系，为银行改进服务提供依据。 分支行业绩对比： 领导通过自然语言取数与报告生成，比较各分行的贷款业务总量，为业务指导提供参考。 风险评估： 在评估贷款风险时，系统通过智能归因分析，找出贷款违约集中的行业领域，为信贷政策调整和风险管理提供依据。 财务分析： 财务部门通过智能归因和自动报告生成，计算各项业务对利润的贡献比例，帮助进行成本控制和利润优化。
自然语言处理：通过自然语言指标取数，快速准确地获取相关数据。 智能归因分析：帮助找出业务发展中的关键因素和问题所在。 自动报告生成：以直观的方式呈现分析结果，支持决策制定、风险管理和业务优化。
提高运营效率：通过自动化和智能化工具，减少人工分析的时间和精力。 增强决策支持：提供更准确、及时的数据洞察，辅助决策。 统一管理：通过统一的指标管理和语义构建，提高数据的一致性和可复用性。
准确：通过 NL2Semantics 技术，SwiftAgent 将自然语言与业务术语和数据模型语义连接，建立标准化指标语义层，实现精准的数据提取。
友好：提供用户友好的交互体验，通过反问和引导帮助用户明确查询意图，使非专业人员也能逐步构建专业的数据分析查询。
敏捷：基于 Agent 架构，结合大模型的思维链和 ReAct 架构，SwiftAgent 能有效拆解复杂问题，快速响应并提供精确分析结果。
安全：重视数据安全，实施严格的安全保障措施，通过精细的权限管控，确保数据访问和操作的安全性，满足金融机构的合规要求。
综合这些优势，SwiftAgent 为金融等行业提供高效、易用且安全的智能分析解决方案，支持复杂的数据分析需求，帮助用户提取有价值的洞察，同时确保数据的安全和合规性，降低分析门槛，让更多非技术背景的用户参与数据分析。
04
技术总结与未来展望
1. 技术总结
2. 未来展望
指标异动推送：监测关键指标，如“对公贷款余额”，异常波动时立即通知领导，促使关注问题。 多维度分析：从多角度分析数据，揭示贷款余额变化趋势。 归因分析：分析异常趋势，识别贷款余额下降最多的分行和客户类型，帮助理解驱动因素。 结论输出：自动生成总结报告，将复杂数据转化为易懂信息，支持决策。
异动预警：通过阈值或机器学习识别异常模式。 多维分析：利用数据仓库和 OLAP 技术进行切片分析。 归因分析：应用统计和数据挖掘技术识别关键因素。 数据解读与报告：结合自然语言处理和生成技术，将分析结果转换为业务语言的报告。
