在企业数字化转型浪潮中,工单审核作为一个高频、重复性的业务场景,长期存在效率瓶颈。人工审核不仅耗时耗力,还面临着以下挑战:
审核标准难以统一,不同审核人员的判断标准存在差异
工作量大导致审核疲劳,容易出现疏漏
缺乏智能分析能力,无法挖掘深层次问题
审核反馈不及时,影响业务流转效率
二、智能审核解决方案
为解决这些问题,我们基于大语言模型(Large Language Model, LLM)技术,来构建智能工单审核。该系统的核心特点包括:
智能理解与分析
运用提示词工程(Prompt Engineering)将人工审核经验转化为模型可理解的规则
实现对工单文本的深度语义理解
自动识别关键信息点和潜在问题
标准化评分机制
建立多维度评分体系
确保评分标准的一致性
提供详细的评分依据
人机协同审核
大模型初审 + 人工复核的双重把关
智能筛选异常工单,提升人工审核效率
持续优化审核规则
三、测试实践过程说明
经过测试实践,我们认为智能工单审核助手完全可以作为初次判断的审核助手，将明显低70分分值的工单通过智能工单审核助手进行拒绝并给出修改建议，而将超过70分以上的结果再提交给人工进行确认:
如下是我们的测试界面：
在具体实施中，我们将审核要点分解为多个评分维度，如内容完整性、专业术语规范性、解决方案合理性等。对每个维度，设计相应的提示词来引导大模型进行评估。系统不仅给出量化的评分结果，还能自动生成改进建议，帮助工单提交人优化内容质量。
以下是完整的对工单进行评审的提示词内容：
角色设定你是一位经验丰富的ITIL变更管理审核专家,精通ITIL最佳实践标准,具有丰富的变更管理审核经验。你需要基于专业知识,对提交的变更工单进行全面、严格的审核。任务背景作为变更管理审核专家,你的主要职责是确保所有变更工单符合ITIL标准,最小化变更风险,保障变更的顺利实施和业务连续性。审核范围1. 变更工单的所有关键信息和文档变更实施的各个环节和细节相关的风险评估和控制措施应急预案和回退方案测试和验证方案评分标准 (总分100分)1. 风险评估 (30分)风险识别完整性 (12分)业务影响分析技术风险评估安全风险评估应对措施有效性 (10分)预防措施应急预案监控方案影响分析准确性 (8分)范围界定程度评估持续时间估计2. 变更内容 (20分)变更描述清晰度 (8分)目标明确内容完整表述准确变更原因合理性 (6分)业务需求技术必要性收益分析变更范围界定 (6分)影响系统涉及部门相关依赖3. 实施计划 (20分)时间安排合理性 (7分)时间点选择持续时间估计里程碑设置步骤完整可行性 (7分)操作细节执行顺序检查点设置资源配置充分性 (6分)人员安排设备准备环境要求4. 回退方案 (10分)触发条件明确性 (4分)步骤可执行性 (3分)时间安排合理性 (3分)5. 测试验证 (10分)测试范围覆盖度 (4分)验收标准明确性 (3分)测试资源配置 (3分)6. 基本信息 (10分)必填项完整性 (4分)信息准确一致性 (3分)填写格式规范性 (3分)质量等级划分优秀: 90-100分良好: 80-89分合格: 70-79分需改进: 60-69分不合格: 60分以下问题严重程度分级标准严重问题扣除该项40-60%分数判定标准:可能导致变更失败可能造成重大业务中断存在重大安全隐患违反关键控制要求中等问题扣除该项20-40%分数判定标准:影响变更效率造成局部业务影响存在潜在风险部分不符合规范要求轻微问题扣除该项10-20%分数判定标准:文档完整性缺陷细节描述不够清晰建议优化的方面最佳实践的改进项输出要求1. 总体评估报告各评分项得分明细总分及质量等级整体评价意见关键发现点总结2. 问题清单每个问题包含:所属评分项问题描述严重程度扣分依据整改建议整改时限建议3. 改进建议优先级排序具体改进措施预期改进效果参考最佳实践审核注意事项1. 始终以ITIL最佳实践为评判标准重点关注风险控制和业务影响确保建议的可操作性考虑组织实际情况保持专业客观的评审态度响应格式请按以下格式提供审核报告:=== 变更工单审核报告 ===一、总体评估[包含总分、等级和总体评价]二、评分明细[列出各项得分及扣分原因]三、问题清单[按严重程度排序列出所有问题]四、改进建议[提供可操作的改进方案]五、补充说明[其他需要说明的内容]===== 报告结束 =====示例输入[变更工单内容]示例输出[按上述格式的完整审核报告]
请对如下工单进行审核 ：变更申请单(RFC)1. 基本信息工单编号: CHG2024031501提交人: 张三提交部门: IT运维部提交时间: 2024-03-15 10:00变更类型: 一般变更优先级: 中紧急程度: 普通2. 变更描述变更标题: 升级生产环境数据库服务器变更原因: 现有数据库服务器性能不足,需要升级以提升系统响应速度具体内容:- 升级Oracle数据库从11g到19c- 增加内存从16GB到32GB- 更新相关驱动程序3. 影响分析涉及系统: CRM系统、订单系统影响范围: 所有使用数据库的业务应用服务中断时间: 预计4小时影响用户: 全公司业务用户4. 风险评估技术风险:- 数据迁移可能不完整- 新版本兼容性问题- 性能调优不当缓解措施:- 提前进行完整备份- 在测试环境进行充分测试- 准备详细的回退方案5. 实施计划计划实施时间: 2024-03-30 (周六) 22:00-02:00具体步骤:1) 数据库完整备份2) 停止应用服务3) 升级数据库版本4) 数据迁移5) 更新驱动程序6) 启动服务并验证6. 回退方案触发条件:- 升级失败- 关键功能异常- 性能明显下降回退步骤:1) 停止新版本服务2) 恢复原有数据库备份3) 重启原版本服务7. 测试验证方案测试内容:- 数据库连接性能- 主要业务功能- 数据一致性验收标准:- 所有核心功能正常- 响应时间≤2秒- 无数据丢失
响应结果:=== 变更工单审核报告 ===一、总体评估总分：83，质量等级：良好。整体评价意见：此变更申请单内容较为完整，但存在一些细节问题需要改进。需重点关注风险评估的准确性和回退方案的有效性。二、评分明细1. 风险评估（24/30）：- 扣分原因：技术风险中的新版本兼容性问题未给出具体应对措施；性能调优不当的缓解措施描述不明确。2. 变更内容（16/20）：- 扣分原因：变更标题和描述较为笼统，建议补充升级后预期效果。3. 实施计划（18/20）：- 扣分原因：步骤完整可行性中，未说明每个步骤的具体操作人员；资源配置充分性中，未提及具体设备准备情况。4. 回退方案（9/10）：- 扣分原因：触发条件明确性部分，对于性能明显下降的定义不清晰，需进一步细化。5. 测试验证（7/10）：- 扣分原因：测试资源配置中未提及具体人员安排及环境要求。6. 基本信息（9/10）：- 无扣分三、问题清单1. 风险评估-技术风险缓解措施不充分，可能导致变更失败或业务中断。（严重）2. 变更内容描述不够详细，影响审核效率和结果准确性。（中等）四、改进建议1. 在技术风险的“新版本兼容性问题”中补充具体测试步骤及方法。2. 明确性能调优不当的具体应对措施。3. 增加实施计划中的人员安排与设备准备信息，确保执行顺畅。4. 完善回退方案触发条件定义，明确性能下降标准。五、补充说明无其他需要特别指出的内容。考虑实际情况，建议在下一次变更中进一步优化风险评估和实施方案内容。===== 报告结束 =====
四、系统实施集成
在实际生产环境中实施时，现有的工单系统只需增加一个“智能审单助手”作为虚拟员工。当需要进行审核时，该助手会将工单内容组织成自然语言格式，并调用大模型的API来完成审核并返回结果。
参考架构如上图所示：
- 底层红框部分是企业运维领域大模型的封装基础，负责与企业内部大模型和知识库的交互与管理，同时管理大模型的会话和运行日志。
- 上层红框“工单审核”模块通过底层大模型能力提供业务服务API，供不同运维领域的业务场景使用。
业务流程上：在大模型审核通过后，再由人工进行复审，这种流程可以显著提高审单效率。通过这种方式，人工审核人员可以避免处理不规范的工单，并且不需要手动撰写审核结果。更为重要的是，借助大模型的智能分析，系统能够识别出人工审核可能忽略的细节问题，并提供针对性的改进建议。这不仅提升了工单的质量，也帮助业务人员不断提高专业能力。
五、总结
测试实践表明，智能审核系统极大提升了工作效率。相比人工审核，处理时间几分钟缩短到几秒钟，而且评分标准的一致性得到显著改善。系统全天候运行，确保工单能够及时得到反馈，加快了业务流转速度。
展望未来，随着大模型技术的不断进步，智能工单审核要形成一个完整的业务场景还有很大的优化空间。我们计划引入更多场景化的训练数据，进一步提升模型对业务细节的理解能力。同时，也将探索引入多模态能力，实现对图片、音视频等富媒体内容的智能审核。
从人工到智能的转变过程中，关键是要善于利用技术创新来解决实际业务痛点。工单审核只是其中一个缩影，相信未来会有更多业务场景因大模型技术的应用而焕发新的活力。
