客户案例复盘：5个真实AI智能体交付项目中的关键教训与可复用方法论

引言：为什么90%的企业AI项目上线后越来越不好用？

我们做过23个Dify+RAG+Agent联合交付项目，几乎每个客户都遇到过类似情况：刚上线那会儿，智能体反应快、回答准，业务部门还发邮件表扬；三个月后，准确率掉了一截；半年过去，有人开始手动绕过系统，甚至直接不用了——2024年JOTO《中国企业AI落地健康度白皮书》里写的41%弃用率，不是数字，是真实发生的沉默退场。

问题不在模型本身。而是没人坐下来，好好翻一翻上线后的日志、用户反馈和报错记录：谁在什么时候改了什么？哪类问题总被跳过？哪些PDF一解析就乱码？哪些权限设置看似合理，实际埋着合规雷？我们发现，只要认真复盘一次真实项目，后续同类交付平均能少花近两周时间，定制开发成本也能砍掉一半以上。

下面这五个案例，来自金融、制造、政务和零售一线，没有PPT式的成功叙事，只有当时踩过的坑、改过的配置、以及现在还在跑的那几行关键代码。

一、金融行业：某城商行智能信贷审批助手的三次迭代

PDF扫出来的不是文字，是噪音

银行想让模型读懂《信贷尽调操作指引V3.2》，但73%的扫描件OCR识别出错——表格错位、印章遮字、手写批注混进正文。团队一开始全扑在调提示词上，直到上线后召回率卡在61%，才回头查数据源头。

后来加了个小模块：PDF入库前先过三关——格式能不能还原？语义有没有断层？术语和行内最新口径对得上吗？再把OCR错误分两类：字体映射缺失这类，自动重试；印章盖住关键字段的，直接推工单给业务员。知识召回率升到了89%。

他们还在Dify工作流里塞了个“知识新鲜度看板”，不光显示哪份文档最近被查得最多，还标出哪些块已经三个月没人点开过——该更新的更新，该归档的归档。

模型不该知道的事，它偏偏答出来了

审计发现，系统偶尔会吐出“某客户近3年逾期明细”。这字段本该锁死，受GDPR和《金融数据分级分类指南》双重限制。复盘才发现，RAG检索压根没绑定用户角色，向量库也没打权限标签。

补救方案很实在：加一道动态权限网关。它不等模型开口，就在检索前把当前用户的角色策略转成向量，硬塞进Dify的LLM调用链里。银行首席数据官在去年的合规峰会上说：“真正的治理，是每个token生成前，就已经做了决定。”

二、制造业：汽车零部件供应商的设备预测性维护Agent

“异常振动”在产线和模型里，根本不是一回事

客户说：“查一下冲压线#3最近异常振动趋势。”模型一听“异常”，就去找统计离群点。可产线老师傅说的“异常”，是指“连续5次超0.8g工艺阈值”。

手册里写了217条工艺约束，我们一条条拆出来，写成可执行规则DSL。Dify里配了个双通道解析器：NLU负责听懂人话，规则引擎负责找对路子。所有查时序数据库的请求，都得带上“业务语义签名”，比如vibration_abnormal_5x0.8g——不是让模型猜，是直接告诉它查什么、怎么算、看多久。

边缘部署不是万能解药

客户坚持要<200ms响应，所以坚持边缘部署。结果边缘端模型太轻，加载不了完整RAG索引，查历史维修报告的准确率只有44%。最后折中：简单状态查边缘，复杂根因分析自动升云。Dify Router节点自己判断——看token长度、实体数量、要不要跨表，分得清清楚楚。

三、政务热线：12345智能坐席辅助系统的冷启动

高频问题答得好，长尾问题全抓瞎

上线第一个月，“孩子入学材料不全”这种高频问题，模型应对自如；但一到“集体户口迁移需街道开具什么证明”，准确率直接掉到32%。复盘发现，训练数据里这类问题不到0.7%，而且没人标注“这条政策是不是还有效”。

后来改了策略：对发布超90天的政策文件，强制提高它在RAG结果里的排序权重；还在Dify提示词里加了句“当前日期：2024-06-15”——模型不一定真懂日期，但它会更倾向选近期生效的条款。

四、零售业：连锁药房智能选品推荐Agent

店员改了推荐，系统却当没看见

店员常跳过Agent推荐，自己换SKU组合。但系统从不记录“这次为什么改”，模型也就一直学着错的偏好。

复盘后加了个弹窗：每次人工覆盖，必须选理由——库存不足？顾客指定品牌？促销冲突？选完立刻推给Dify的Feedback API，变成强化学习的奖励信号。不是教模型“该答什么”，而是告诉它“人为什么不要这个答案”。

五、我们怎么把复盘变成习惯

• 每个项目配个独立看板：数据漂移热力图、用户绕行路径拓扑、权限越界日志、RAG失败TOP10 query，全都挂上去
• 复盘会必须拉三方：客户业务方（定义什么叫“好用”）、交付工程师（盯住技术断点）、产品架构师（把经验抽成可复用组件）
• 把结论直接塞进Dify：比如“政务政策问答专用RAG Schema”“制造业设备语义解析工作流”，下次开新项目，直接调用

总结：复盘不是交差，是让AI真正长进业务里

所谓客户案例复盘，就是把客户的业务逻辑、组织惯性、数据现状，一样样掰开，变成Dify里能跑的配置、能调的参数、能校验的规则。它让Dify不再只是编排提示词的工具，而成了承载行业经验的操作系统。

五个项目跑下来，沉淀出17个可复用组件、32条防踩坑checklist、9套垂直领域Schema。AI落地，也就从“做完一个项目”变成了“建好一套能力”。有时候，最该写进手册的，不是“该做什么”，而是“千万别像上次那样干”。

立即咨询 JOTO

JOTO 为企业提供深度客户案例复盘服务，从交付现场采集真实交互日志、权限日志与用户反馈，输出可落地的智能体架构升级方案与Dify工程资产包。 联系 JOTO 获取 AI 落地咨询

立即体验 JOTO

如果你想进一步了解 JOTO，欢迎前往官网体验。

联系我们 / 预约演示