本期将为您介绍大模型检索增强生成（RAG）应用的相关安全防护策略（完整思维导图如下）。
（可点击查看大图并保存）
大语言模型普遍存在“幻觉”问题，当用户问题涉及未被明确训练过的内容时，模型可能会产生不真实、错误或虚构的信息。而通过模型训练和微调解决幻觉问题的方法容易受到垂直领域知识更新快、迭代迅速的影响，存在成本高、效率低的问题。因此，RAG凭借即插即用、检索技术成熟的优势，成为了大模型在垂直领域落地应用时首选的知识注入技术，但其本身也存在一定安全隐患，需从以下6个方面进行加强。
1.基于用户角色的访问控制（RBAC）。应用接入企业内部身份认证系统，账号与用户一对一挂钩，明确用户权限；使用会话控制（session）、短期令牌等机制管理用户会话，知识访问模块严格遵守“先控制、后检索”的原则，在每个接口检查用户请求的查询范围是否与用户权限匹配，不盲目信任前端传回的信息。2.输入输出审核。对于用户输入，使用敏感词过滤、恶意提示词（prompt）检测等手段，拒绝敏感问题、移除特殊字符（如prompt逃逸常用的反引号）。对于模型的输出，可同时使用实时和事后检测，通过实时规则过滤流式输出中的敏感词，在输出全部完成后再进行二次审核，撤回存在问题的模型回复。3.建立访问日志。记录用户IP、提问次数与提问内容等（日志信息、聊天记录等敏感信息也需要加密存储，防止泄露），通过规则和人工相结合的形式，及时封禁可能正在进行拒绝服务（DoS）攻击、提示词攻击、KV-Cache猜测的可疑账号和IP，且可以溯源到人。4.提示词安全。提示词注入攻击难以完全防范，且在使用深度推理模型时，其推理内容很可能暴露系统设计的提示词。因此，在RAG系统设计时，需避免在提示词中放入敏感信息及非全部用户可见的内容，或是根据用户身份权限使用不同的提示词。 5.智能体（Agent）安全。Agent使用大语言模型提供的参数调用函数时，需要仔细检验参数合法合规性，过滤可疑的越权访问、结构化查询语言（SQL）注入等危险语句。如需要自动化执行大模型生成的代码或脚本，则需要在隔离沙箱环境内执行，对沙箱环境中的执行结果进行严格验证，以确保潜在的恶意代码不会对主系统或生产环境造成影响。同时完成权限最小化设计，仅允许其访问必要的资源和功能，避免因过度授权而导致的安全隐患。通过多层次的防护措施，确保Agent的操作安全可靠，从而最大限度地降低潜在的安全风险。 6.前端安全。前端渲染大模型输出时，也需要防止大模型生成html语句，限制弹窗、自动跳转、脚本执行等危险操作。 此外，在私有化部署环境中，RAG系统需要与机构的内网安全体系对接，以确保系统的安全性和稳定性。然而，RAG系统在与内网安全体系对接时也会产生一系列安全隐患， 需从以下3个方面进行防护。1.加强日志管理。对日志信息中的敏感内容进行加密存储，严格限制访问权限。定期清理不必要的日志，减少敏感信息长期存储带来的风险。2.接入身份认证。根据所处内网安全体系的身份认证功能强弱，实施不同的身份认证策略。如果统一身份认证成熟，就积极接入内网自带的统一身份认证，方便管理；如果统一身份认证的权限管理能力不足，就需要RAG系统开发者主动设计和实现安全可靠的认证和权限管理机制。3.增强安全意识。RAG系统开发者应与安全管理员保持长期对接和联系，及时认真完成风险修复。此外，开发者也应该多加关注与RAG系统相关的第三方库的最新安全情报，及时更新至修复漏洞的安全版本，以降低潜在风险。【本文摘编自《保密科学技术》2025年5月刊《大模型安全防护技术探讨》一文，作者：汤博文、周昌令】
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
