自营直播应用技术团队负责的业务中，淘宝买菜的直播业务起步较晚，业务发展压力较大，业务上也就有了期望能够对一些二方的标杆直播间进行学习，并将其优点应用到自己直播间的需求。
业务侧最直接的想法是发动人海战术，通过人工的方式去观看各个直播间，提炼其中的优点，进行互动分享：
运营TL提出的要求：
运营小二人工学习的范本：
效果不错。但是人工学习需要大量的人力保障，就会导致运营基本每天都花费大量的时间在看直播间，学习直播间了，没有更多的时间去做真正的“运营”的事情了。熟悉LLM的小伙伴就会发现，这些运营总结的内容怎么看上去那么像LLM总结的？或者换句话说，基于LLM生成的总结是不是可以达到类似的效果？
既然现在各个文本网站都提供了类似于速看的功能，我们也自然而然的想到，是不是可以用LLM对标杆直播间进行学习总结，把运营解放出来，让运营回到真正的“运营”的事情上。
方案
整体方案分为三步：
1. 通过ffmpeg将m3u8类型的直播回放视频音频下载到本地
2. 通过集团内部的听悟工具将音频转化成文本
3. 通过文本大模型抽取文本中的亮点，并进行多个直播间横向对比。通过图片大模型抽取布景中的亮点，并进行多个直播间横向对比。
▐ Step1：基于FFMPEG下载视频 & 音频
为什么想到用FFMPEG呢？来自于GPT：
FFMPEG下载视频 & 音频主要包括两类核心命令：
1. 视频下载：
ffmpeg -i "http://example.com/playlist.m3u8" -c copy output.mp4
2. 音频下载：
ffmpeg -i "http://example.com/playlist.m3u8" -vn -acodec libmp3lame output.mp3
详细的语法大家咨询GPT即可，不再做赘述（PS：GPT用来解决编程类问题真的很好用）。
▐ Step2：将音频转换成文本
傻瓜式上传MP3文件即可，等待一会就能够转化成解析好的台本了。之后可以再以srt、docx、pdf等文件格式导出：
▐ Step3：基于大模型对文本进行概要总结
PROMPT、LLM输出的总结内容Demo如下：
难点
▐ 1. 视频截断
由于录播的时长有时候会很长，实操过程中经常会遇到视频音频过大、过长导致无法上传的情况。这种时候一般有两种解决方案：
方案一：通过ffmpeg对音频码率进行压缩。在不影响效果的情况下压缩文件大小(最终使用方案)：
方案二：使用一些开源的视频剪辑软件，对视频进行剪辑，拆分成多个片段进行上传。
▐ 2. Prompt调优
要达到好的总结效果，一段好的Prompt至关重要。Prompt调优虽然有一些原则，但整体上还是一件偏玄学的事情，需要多次尝试。以下是我们经过多次尝试后的Prompt：
调优后的Prompt:
话术分析分析指定带货直播的话术风格和可借鉴之处：首先，识别直播中重点介绍了哪些产品，以及介绍不同商品时的核心卖点和具体介绍内容，如商品规格、价格优惠、食用方式、购买场景、挑选知识、售后保障等识别直播中是否是否介绍了较为不常见、消费者比较陌生的产品，以及介绍此类产品时突出的核心卖点和具体介绍内容其次，确定直播的整体风格（如专业、幽默等），并分析这种风格如何帮助提升观众的参与度和购买意愿。然后，总结直播中针对生鲜、白牌商品的创新玩法和有效策略并说明有什么效果，解决了什么问题，以便提取具体可执行的学习和应用的经验教训。最后我们是一个直播电商公司，请你能提取一下直播内容的优点，方便我们打造一款产品来沉淀优秀直播间的特点，给直播平台产品经理一些意见视觉分析分析直播间布景，如产品展示方式、主播互动方式、直播间主题、直播间强化的心智、直播间所模仿打造的场景等分析直播间的氛围，如直播间展示的利益点评论分析分析如下直播间用户实时反馈的内容，给出分析报告：首先，过滤掉无意义的内容。理解用户反馈的含义，按照类别进行归类，并按照反馈频次从高到低排序。针对用户需求类的需要详细列出来并分析然后，分析用户反馈的内容，给到直播运营和主播相应的可行性建议
在我们进行Prompt调优过程中，有几个经验可以分享(很多技巧在其他文章中也有分享，这里更偏向我们的实践经验)：
1. Step By Step拆解：这一步确实至关重要，让大模型能够按照我们期望的格式与思路输出；
2. 简明扼要具体：具体并且简明扼要的描述能够让模型更快的抓住重点，输出的内容也能更贴合我们想要的主题；
3. 给出可以参考的示例：给出参考示例后，确实能够让模型回答的不那么天马行空。但是相应的也会导致模型被约束只会讲我们提到的参考的点，并且会产生一些和原有文本不符合的幻觉；
4. 角色带入：实践后发现，明确输出对象的角色(产品经理、直播运营、主播)后的效果比不明确输出对象要好很多。也尝试了让大模型假设自己的角色，效果没那么好，可能是类似于“数据分析师”这样的角色对于大模型来说过于抽象；
5. 人工优质文本示例：这个也做了尝试，但是效果不如不给运营的文本示例，所以被剪枝掉了。并且会导致模型回答上产生比较大的幻觉，比如回答的内容和人工优质文本一致，和当前给的输入台本无关。
模型选择上，实践尝试了各个大语言模型，实际效果上确实还是GPT-4o效果最好。
▐ 3. 评论分析
基于前述的思路，也做了评论分析的功能。同样是抓取到直播间的用户评论，构建合适的Prompt提示词丢给大模型分析。这里不做赘述了。
基本链路搭建完成后，同样也配套搭建了工程的链路，确保运营配置好想要学习的直播间后，能够由LLM输出学习总结，产品做简单审核加工后，每天自动在群里输出。示例效果如下：
话术学习示例输出：
通过对该直播间带货的分析，我们可以划分以下几个重要的部分，并提取其优点，以便为直播电商公司产品经理提供建议：产品话术分析1. 产品介绍：○ 重点产品：直播间主要介绍了水果（如西瓜、车厘子、冬枣、崂山蜜杏等）。○ 关键词：涉及到“甜”、“脆”、“新鲜”、“脆爽度”等描述词和福利相关的词。同时具体描述了量词，如“两斤半”、“三斤装”等。○ 特殊用词：■ 吸引注意力与购买欲望的词汇：比如“合算”、“福利”、“超值”、“口感绝佳”等。■ 突出产品特色的词汇：强调产品的独特性和稀缺性的词语，例如“全球首发”、“原装进口”、“限量版”等。2. 产品卖点：○ 西瓜：强调其“甘美”、“脆”、“甜”，并且发顺丰。○ 车厘子：强调四勾的大规格以及甜度和脆度。○ 冬枣：突出其酥脆度和糖度。○ 崂山蜜杏：强调其大小、“甜如蜂蜜，糯如水蜜桃”。整体风格分析1. 风格：○ 直接互动：主播频繁与观众互动，通过询问观众的需求和实时反馈调整产品介绍和销售策略，50次之多提到了“欢迎大家来到我们的直播间”或者“来，欢迎咱们新进的朋友们”这种互动话术。○ 价格透明：明示价格及降价原因，让观众觉得主播值得信赖。○ 幽默与活泼：时常使用幽默的语言调节气氛，如“甜如蜂蜜，糯如水蜜桃”以及“妈妈要省钱，赶紧拍两单”类似这种语言能提升观众的观看愉悦感。针对生鲜、白牌商品的创新玩法和有效策略1. 创新玩法：○ 跨品类搭配优惠：通过不同水果、多种规格的搭配销售，吸引更多受众。○ 技术手段的运用：频繁使用*****等技术手段，促使******。2. 有效策略：○ 限时限量福利价：通过*****，增加观众购产品的热情。○ 强互动和真实推荐：通过实时互动了解观众的需求，并依据观众反馈推荐合适产品。○ 透明物流和售后: 强调顺丰空运和出现问题包赔的承诺，使消费者信赖。总结和产品经理的建议1. 优点提取：○ 商品丰富：多样的商品分类明确，涵盖了常见的生鲜食品，能够满足不同观众的需求。○ 详细的产品描述：通过详尽的描述突出产品的特点和优势，增加观众认知和消费意愿。○ 互动性强：通过实时互动，主播能够根据观众的反应灵活调整话术和推荐产品，这使得整个直播过程更加生动有趣。○ 优惠刺激消费：通过福利、优惠和限时限量的模式刺激观众的购买欲。2. 产品经理建议：○ 增强互动功能：提供主播与观众之间的多种互动工具，如互动游戏、投票等，增加观众的参与感。○ 自动化优惠提示：增加优惠券和福利的自动推送功能，使观众在观看过程中更方便发现和使用。○ 多角度商品展示：利用多摄像头展示和虚拟现实技术，让观众能够从多个角度查看商品，了解商品的真实情况。○ 智能推荐系统：根据观众的购物习惯和偏好，智能推荐相关产品和套餐，提升购物体验。○ 引入其他测试工具：通过使用糖度测量等专业工具，证明主播所言非虚，提高信任感。通过上述分析、总结和建议，直播电商公司的产品经理能够更好地了解当前直播带货的有效策略，并在此基础上改进现有产品，提升直播带货的成功率。
布局学习示例输出：
这张图片显示了一位男性主播在展示一盒新鲜水果，可能是桃子。以下是这场直播带货的一些特点和值得其他直播间学习的策略：1. 产品展示：主播亲自品尝水果并向观众展示其外观，传达出产品的新鲜和美味程度。这种方式可以让观众感受到真实的口感描述，从而产生购买兴趣。2. 品牌信誉：标题中的“**********”强调了店铺的历史和声誉，提高了可信度。3. 定时直播：公告牌上写着“每晚20:00开播”，说明主播有固定的直播时间表，有助于培养忠实粉丝并保持他们的参与度。4. 仓库背景：背景中堆满了包装好的水果箱，显示出货源充足以及批量处理能力，给人一种可靠供应商的印象。5. 产品分类：盒子下面印有“********”，表明产地信息，保证了产品质量和来源。6. 互动方式：尽管图片中未显示具体互动环节，但主播可以通过回答问题、分享烹饪或食用建议等方式与观众进行实时交流，增加亲近感。7. 物流保障：使用“顺丰包邮”标签，承诺快速配送服务，解决消费者关于生鲜易损的顾虑。8. 价格优势：如果主播在直播中提及价格优惠或促销活动，将吸引更多买家。9. 产品多样化：周围堆放的不同种类水果箱表明店铺供应多种水果，满足不同顾客需求。10. 专业领域知识：主播可以分享一些关于水果的知识，比如如何挑选、储存和食用方法，展现自己的专业知识，赢得信任。11. 售后服务：如果提供售后支持，如不满意退款保证，将使消费者更加放心购买。总之，这场直播通过展示实际产品、强调品牌信誉和提供优质客户服务来吸引观众。定时直播和专业的行业知识也能帮助建立稳定的客户基础。与其他直播间相比，它专注于生鲜农产品这一细分市场，针对健康饮食爱好者或家庭主妇等特定目标群体。
评论分析示例输出：
分析报告一、分类和排序经过滤无意义内容和分类后，用户反馈内容如下所示。以下内容按照频次从高到低进行排序：用户需求类1. 价格和发货咨询● 频次高的内容：○ 「12盒蓝莓多少钱啊？」○ 「19号苹果开优惠价了吗」○ 「龙宫果有优惠价吗？」○ 「香印青提还可以开不？」● 分析：用户对某些产品的价格信息和特殊活动优惠非常关心。建议主播在直播时明确提到各类产品的新价格信息和折扣。1. 产品质量和存储● 频次高的内容：○ 「阳光玫瑰今天收到了，太好吃了。又脆，甜而不腻」○ 「苹果开了吗？」○ 「进行配送时是否坚持冷链运输？」○ 「杨梅有虫吗」● 分析：用户对产品质量、口感和保存方式同样认真关注。在直播中进行详细介绍，强调产品的保鲜、送货方式（冷链等）以及产品检测（如无虫保障）。1. 产品推荐和比较● 频次高的内容：○ 「试管苹果推荐一下，乐琪还是红玫瑰？」○ 「龙宫果和其他品牌相比有什么优势？」● 分析：用户希望得到更加准确的推荐和产品对比。主播可以在直播中针对不同需求的用户进行产品特点、优劣的详细对比。1. 产品库存和购买链接● 频次高的内容：○ 「蓝莓开价了吗？」○ 「甘美的西瓜和站神的有不一样吗？」● 分析：用户需要及时了解库存情况和购物链接。建议在直播中实时更新库存动态，并明确表示商品的链接和如何下单。1. 促销活动和特殊优惠● 频次高的内容：○ 「今天便宜了？」○ 「今天西瓜有优惠吗」● 分析：用户热衷于参加促销和得到特殊优惠。主播应在直播中预告和强调正在进行的促销活动。用户满意度类1. 产品好评○ 频次高的内容：■ 「好吃，好货也不好抢到。」■ 「超给力」○ 分析：正面的反馈说明用户对产品质量和购买体验满意。建议主播在直播中展示用户的好评和反馈，建立信任。2. 用户互动○ 频次高的内容：■ 「[–哈哈哈]」、「[–鼓掌]」等表情。■ 许多用户直接留言互动，比如「太好了」「开价看看」。○ 分析：活跃的互动氛围增进了用户与主播的链接。主播应继续保持良好的互动，鼓励用户参与评论和提问。用户投诉类无明显投诉内容。二、可行性建议目标：提升用户满意度、增加销售转化率直播运营建议：1. 价格透明和重点活动推广○ 提前发布优惠信息和各类产品的价格。考虑设置直播专享价，提醒用户关注。○ 针对用户热烈讨论的品类（如蓝莓、杨梅等）在直播中增加详细介绍和试吃环节。2. 库存和预告管理○ 确保库存数据实时更新，避免用户因缺货失望离开。○ 提前预告新产品上架和优惠活动时间，客户能提前计划购买。3. 质量保证与售后服务○ 强调产品的质量检测报告及认证，增强用户信任。○ 提供详细的保存方法和售后保障，增加用户安全感。4. 赠品和折扣券吸引○ 根据购买金额设置阶梯式赠品或折扣券，达到刺激用户消费的效果。○ 对复购客户给予特别关注，提供专享优惠或小礼品。主播建议：1. 增强互动○ 针对用户的提问和关注进行实时解答和讨论。通过提问互动提升整体观看体验。○ 使用正面反馈和表情符号来鼓励并夸奖用户积极参与互动。2. 打破信息不对称○ 对没有讲过或新上线的产品进行详细介绍，附上产品的独特卖点和质量保证。○ 利用实物展示、切开品尝等方式凸显质量，消除用户担忧。3. 用户故事分享○ 通过分享用户好评和故事案例来打动客户，引发共情和信任。通过以上策略，预期可以更好地满足用户需求，提升用户满意度，增加直播间的销售转化率。
可以看到LLM分析的内容已经可以达到运营学习的标准了，并且能做到言之有物，也能输出一些后续能够在运营、产品、技术侧实践的有效策略。
同步获得了业务侧的点赞。基于LLM学习总结挖掘的一些新的玩法：优惠券自动推送、商品智能推荐等也在后续以产品化的方式落地，取得了不错的效果。台本的闪光点沉淀到了运营标准话术台本里，评论挖掘的内容沉淀到选品侧为后续选品提供了参考。
经过前述的实践，我们体验到了LLM结合具体业务场景带来的切实有效的提升效果，但同时也体会到LLM在一些方面的不足（总结过于宽泛面面俱到、推理洞察能力不足、在不调参的情况下自迭代困难等）。后续重点我们会放在以下方面：
1. 继续优化Prompt，让学习总结的输出能够更加言之有物，给到运营产品更大的参考价值
2. 学习总结叠加实时流量因子，知道哪些是真正带来场观提升的话术片段，从而能够明确出后续发力的重点
3. 将LLM和直播应用做更多方面的结合，比如基于LLM做选品Copilot、结合Alive组件做更多创新互动的玩法、流量分析等
期待后续LLM结合直播应用给业务带来更多效果上的改变。
