导读 本文将分享 37手游在 AI 智能分析方面的探索与应用。
1. 异常诊断与根因分析
2. QBI 波动分析与智能洞察
3. 智能搭建与智能问数
4. AI 数据分析报告
5. Q&A
分享嘉宾｜史飞翔 37手游 技术部 大数据平台资深开发工程师
编辑整理｜唐唐
内容校对｜李瑶
出品社区｜DataFun
异常诊断与根因分析
1. 前言
随着人工智能技术的飞速发展，人工智能在数据分析领域的应用也日益深入和广泛。
智能分析平台功能由最开始的问数、出图表和做报表，逐渐发展出智能总结、波动归因等洞察分析能力。本次分享就将聚焦于分析部分。
一个优秀的可以投入正式生产使用的智能化 BI，需要具备以下三方面的能力：
丰富完备的 BI 功能
极速的交互，查询效率快，达到秒级
结果 100% 准确可信赖，能达到业务的预期
鉴于产品最终要给业务方使用，需要聆听业务侧的声音，所以针对 BI 智能问数功能，我们做了一个调研。调研结果显示，大部分人对 BI 智能问数并不感兴趣，另有一部分人认为不需要，还有一部分人表示只有移动端需要此功能。此外，调研结果还显示，业务方并不期望通过问答的形式展示结果，毕竟这样的操作效率还不如直接查询报表查询；而是更关心 AI 的分析能力，即通过数据得到分析结果，方便数据有异常的时候可以洞察是什么原因导致，或者是基于当前的数据进行解读并输出分析报告。
2. 生活案例
接下来通过一个例子，介绍如何进行异常根因分析，给业务提供更多的价值。
夏天的时候，树叶会变绿，气温会升高，而蚊子也会变多。那么，如果我们基于「树叶会变绿」+「气温升高」两个因子，对「蚊子变多」进行预测，虽然结果准确，但是蚊子变多的根本原因并不是「树叶会变绿」+「气温升高」两个因子直接导致的，比如某些极端的地方，树叶常年都不会变绿，但是气温也会升高，这种场景下该模型就失效了。
也就是说，如果仅基于传统的相关性分析，可能会得出错误的结论「树叶变绿」是导致「蚊子变多」的一个因素。而通过因果分析可以发现，「蚊子变多」的根本原因是「气温升高」。
3. 数据异常排查现状
对于业务的应用场景，都是基于发现，从结果去找原因。而数据异常排查的现状如下：
在日常工作中，业务方发现异常的数据之后，假设游戏某一天的大盘数据 DAU 突然下降，业务方会基于不同的游戏、不同的渠道等等进行多维度交叉分析推演，需要人工手动分析，成本高。
依赖分析人员的主动性、预警及时性，容易产生预警不及时的问题，并且有些人分析洞察不够，得到的结果就会不够准确。
比如 1 个游戏项目，需 1 个人力每天花费数小时进行数据监控，但仍有监控不到位的情况。
4. 分析思路
针对如何提升业务的效率，如何快速定位出核心影响因素，我们制定了一些策略。
沟通确认要监控哪些指标及维度，比如监控 DAU 还是 ROI，监控哪些游戏、哪些渠道等。
通过贡献率数学模型，定位指标异动的根因，最后对影响因素进行汇总。
针对多个维度进行剪枝，比如「树叶变绿」并不是「蚊子变多」的影响因素，所以先把「树叶变绿」这个影响因素剪掉，剪完之后定位出核心的影响因素。
对维度「广告组」、「渠道」进行拆解，拆解完之后，定位到某些广告组、渠道的影响因素比较大。
基于广告组、渠道维度贡献度校大的维值组合，进一步拆解维度，即对细维度继续进行拆解，比如拆解到出价工具，定位到某出价工具是核心影响因素。如果定位结果发现三种出价工具对指标异常的影响几乎相等，此时可以进行上卷，比如定位到其实是某些广告主跟渠道，而跟出价工具无关。即基于广告组、渠道、出价工具维度，提取贡献度较大的维值组合。
定位出来维度后，可以进一步对指标做分析。基于异常的维值组合，折解 ROI 指标（设备成本、LTV），即可能是设备成本导致，也可能是 LTV 导致。如果 LTV 影响占比较高，则可以继续进行拆解（付费率、付费 arpu），最终定位到核心的影响因素以及核心指标。
比如监控大盘指标，发现某天的指标异常，首先基于游戏进行维度的拆解，这里有很多维度，比如从游戏 1、游戏 2，拆解到广告，看是哪个广告导致的，接着再进一步拆解到渠道，层层拆解。对于游戏 1，三个渠道对大盘异常的贡献度几乎相等，则定位渠道不是核心影响因素，此时进行剪枝，直接定位到是广告组带来的影响。对于游戏 2，拆解到确实渠道 1 影响最大，那么定位就是广告组 B、渠道 1。
其次进行指标的拆解。指标 A 是复合指标，A=A1/A2。假设 A 指标异常，指标 A1 的变化率是 10%，A2 的变化率是 50%，那么指标 A 的异常可以定位到是指标 A2 导致，A2 又是一个衍生指标，可以进一步拆解到 C 和 D，再看 C、D 变化率，如果其变化率相同，则归因到指标 A2，如果变化率差别大，则可以直接定位到那个指标。
5. 贡献率计算
计算组内贡献度、组间贡献度，通过这两种贡献度叠加来计算最终的贡献度。
实际应用场景中，通过看板展示每天的数据是否有异常，如果有异常，核心的影响因素是哪些，具体的指标是多少。另外，每天还会推送数据异常诊断报告给业务，可以定位到是哪个游戏、哪个广告组等。
同时业务方还可以基于分析结果进行 AI 问询，系统会生成分析报告，告知业务方异常是由哪几个指标影响，核心影响的维度是哪些，并给出分析结论。如果让业务方直接问询 DAU 是多少、环比同比是多少，这只是很基础的问数，对业务方意义不大。业务方更关心分析结果，比如数据的核心影响因素是什么，数据到底出了什么问题，有什么影响，所以这也是我们开发的方向。
根因分析不只限于广告的场景，而是适用于各个业务线，比如游戏运营、风控、用户画像等。以广告分析为例，有展现、点击、跳转、下载等各个环节，假设点击率突然很低，此时业务方并不是想看点击率从多少变到多少，而是想知道点击率为什么变低，是什么因素影响导致。
QBI 波动分析与智能洞察
接下来介绍我们结合 Quick BI 支撑的业务应用场景。
使用 Quick BI 波动分析功能来分析波动原因，展示分析结果，以及具体的影响因素，比如哪些维度影响比较大。如果某天数据变化，比如 8 月 7 号对比 8 月 6 号，数据上涨 7%，通过波动分析功能，可以定位到核心的影响因素是某个游戏导致的，然后基于该游戏继续进行波动分析。
2. 数据解读
业务方每天都可以看到报表上的数据，而他们更关心的则是对于数据的解读，一个分析的结果，比如导致数据异常的原因。数据解读是基础的解读总结，即告知业务方统计周期是多少天，最大值最小值出现在什么时候，明显的突变点、异常点等。
智能搭建与智能问数
我们利用了 Quick BI 的智能搭建功能，比如想要基于某些数据集生成一张报表，系统就可以自动生成一个包含多个维度、多种表现形式的看板。我们结合 Quick BI 的智能问数功能，构建了自己的一套智能问数能力，可以通过简单的问题，得到想要的数据。
AI 数据分析报告
1. 多代理模式
分析报告使用多代理模式，流程如下：首先用户查询，提出想要分析的内容，将内容提交后，通过搜索器连接互联网（gpt-researcher），基于互联网查找相关的行业内数据。拿到数据之后，后续每步均由不同的 Agent 进行处理，即多 Agent 模式。
Agent 可以理解为公司里的一个员工，首先给 Agent 一个角色定位，比如研究员、数据分析师、写手等等。接着再给 Agent 一个目标及上下文背景。
分配并告知 Agent 要做什么任务，提供执行所需的细节，包括任务描述、具体的 Agent、期望输出的内容。
支持引用外部的工具，如网络搜索、数据分析、内容生成等，通过将工具无缝集成到 Agent 的工作流程中来增强代理能力。
通过流程协调 Agent 执行任务，类似于团队中的项目管理，这些流程确保任务按照预定义的策略高效分配和执行。
把几个 Agent 封装组合到一起，代表一个团队，下面有撰写人、分析师等，通过多 Agent 按 workflow 使用多个工具完成特定任务。
2. 基于 CrewAI+GPT
Research 生成分析报告
针对 query「请写一篇关于游戏的用户声音的分析报告」，如果需要大模型生成分析报告，只告诉他这个 query，生成的结果肯定是不符合预期的。所以需要把写报告的分析逻辑清晰地告诉大模型。例如，写一篇关于游戏客服服务质量分析报告，首先要写整体的效果，结论性的内容，比如大客户整体的服务效果是好还是差。接着是具体分析，比如客服达标率、客服未回复次数等，还可以进一步分析客服的响应时间长，对客服响应时间、服务人数、未回复次数等进行交叉分析。
分析报告的生成效果如上图所示，包括大客户的整体效果、客服达标率、未回复人数等，后面还有一些趋势性、结论性的内容，以及建议。对于建议部分，我们还要进一步优化，告诉大模型更多的知识。
Q&A
Q：要把报告提纲告诉大模型才可以吗？
A：这取决于对分析报告的完整度要求。如果期望大模型分析得更好，那么就需要把分析逻辑告诉大模型。如果只告诉大模型一句话，那么大模型就写得不太好。所以提出分析报告需要一定的数据分析能力。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
