知识管理

知识库，从"什么都答不上来"到"全公司都在用"

2026 年 6 月 2 日

这篇文章分享了如何将AI知识库从“什么都答不上来”打造成“全公司都在用”的实用经验，核心是五个非技术性的关键步骤。核心内容： 1. 数据清洗：清理过期、矛盾与无用的文档 2. 优化理解：按语义单元切分文档，提升检索精度 3. 规范回答：约束AI基于知识回答，避免幻觉并标注来源

从"什么都答不上来"到"全公司都在用"，我只做了5件事

事情是这样的。

三个月前，我们给公司搭了一个AI知识库。上线第一天，我特别兴奋。想着终于不用每次有人问问题都要我亲自回答了。

结果第一周。所有人都在吐槽。

这个AI怎么什么都答不上来。

问它报销流程，它给我一段不知道从哪个旧文档里扒出来的内容，里面提到的审批人早就离职了。问它请假政策，它说公司没有相关规定。问它新产品的参数，它开始瞎编。

我当时就愣住了。

文档明明都上传了啊。几百个文件，PDF、Word、Excel，全塞进去了。怎么就不行呢。

后来我花了一个月时间，一点点排查，一点点改。到现在，这个知识库已经是全公司每天必用的工具了。新人培训靠它，日常查询靠它，甚至有些老员工遇到复杂问题也先问它。

回头想想，其实就做对了5件事。

说真的，这5件事里没有一件是技术上的。全部跟技术无关。

第一件事：把垃圾清出去

刚上线的时候，我把能找到的文档全上传了。心想越多越好嘛。

这是个巨大的错误。

那些文档里有什么呢。2019年的员工手册，跟现在的规定完全不一样。三个版本的销售话术，互相矛盾。一堆只有写的人自己看得懂的缩写。还有些文档干脆就是空壳，只有个标题。

这些东西扔给AI，它能给出好答案才怪了。

所以我做的第一件事，是把所有文档过了一遍。过期的删掉。矛盾的确认哪个是最新版。看不懂的找对应部门核实。缺内容的补上。

这个过程花了整整两周。很枯燥。但做完之后，AI的回答质量立马就不一样了。

数据清洗不是可有可无的锦上添花，是地基。地基打不好，后面全是歪的。

第二件事：让AI听得懂人话

你可能纳闷，AI不就是靠理解语言工作的吗。为什么还需要特别处理。

这里有个关键问题。文档是怎么被AI"吃"进去的。

简单说，长文档会被切成一段一段的小块。每个小块单独向量化，存进向量数据库。用户提问的时候，系统找到最相关的几个小块，送给AI生成回答。

问题就出在这个"切"上。

切得太大了。一个小块里塞了太多无关信息，检索的时候命中不精准。切得太小了。一个小块缺乏上下文，AI理解不了在说什么。

我调整了策略。

按语义单元切分。不是机械地按字数切，而是尽量让每个小块保持语义完整。设置重叠，相邻的块之间保留一定的字符重叠。不同的文档类型用不同的分块策略。

这个调整做完之后，检索的精准度提升了一大截。

第三件事：教AI说人话

知识库回答用户的时候，不能只是把检索到的内容原封不动地丢出来。

AI要做的是理解用户的问题，从检索到的知识中提取关键信息，然后用自然的语言组织回答。

但这里有个坑。AI很容易产生幻觉。

怎么解决。我加了一个约束。要求AI只能基于检索到的知识来回答。如果检索到的知识不足以回答问题，就直接说不知道，不要瞎编。

同时要求AI在回答中标注信息来源。告诉用户这个答案是从哪个文档的哪个部分来的。这样用户可以自己核实。

第四件事：让它越用越聪明

知识库上线不是终点。恰恰相反，是起点。

我建立了一个反馈闭环。每个回答下面都有两个按钮。有用和没用。用户点了没用，我就去看这个回答哪里有问题。

是知识库里没有这个内容，就补充内容。是检索问题，就调整检索策略。是AI回答问题，就优化提示词。

每周做一次数据分析，每两周做一次内容更新。知识库就这样一点点变聪明了。

第五件事：让对的人看到对的东西

这个其实说的是权限管理。

公司里的知识不是所有东西所有人都能看的。薪酬信息、客户资料、战略规划，这些都有保密级别。

我设计了一个分级的权限体系。L1公开，L2内部，L3敏感，L4机密。员工入职自动获得对应权限，离职自动回收。

安全这块不能偷懒。特别是现在数据合规要求越来越严。

回头看

清垃圾、精切分、说人话、持续进化、管好权限。

没有一件是需要高深技术的。每一件都需要耐心和细致。

如果你正在规划AI知识库，我的建议是。别想着一步到位。先解决最痛的问题，做一个能用的MVP，然后根据反馈一步步完善。

知识管理是个长期的事。但一旦做成了，它真的会成为公司最有价值的资产。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

知识库，从"什么都答不上来"到"全公司都在用"

立即咨询 JOTO

想把这些做法用到你的业务里?

开启企业级 AI 落地

填写需求单