知识管理

知识库，从"什么都答不上来"到"全公司都在用"

2026 年 6 月 2 日

这篇文章分享了如何将AI知识库从“什么都答不上来”打造成“全公司都在用”的实用经验，核心是五个非技术性的关键步骤。核心内容： 1. 数据清洗：清理过期、矛盾与无用的文档 2. 优化理解：按语义单元切分文档，提升检索精度 3. 规范回答：约束AI基于知识回答，避免幻觉并标注来源

从"什么都答不上来"到"全公司都在用"，我只做了5件事

事情是这样的。

三个月前，我们给公司搭了一个AI知识库。上线第一天，我特别兴奋。想着终于不用每次有人问问题都要我亲自回答了。

结果第一周。所有人都在吐槽。

这个AI怎么什么都答不上来。

问它报销流程，它给我一段不知道从哪个旧文档里扒出来的内容，里面提到的审批人早就离职了。问它请假政策，它说公司没有相关规定。问它新产品的参数，它开始瞎编。

我当时就愣住了。

文档明明都上传了啊。几百个文件，PDF、Word、Excel，全塞进去了。怎么就不行呢。

后来我花了一个月时间，一点点排查，一点点改。到现在，这个知识库已经是全公司每天必用的工具了。新人培训靠它，日常查询靠它，甚至有些老员工遇到复杂问题也先问它。

回头想想，其实就做对了5件事。

说真的，这5件事里没有一件是技术上的。全部跟技术无关。

第一件事：把垃圾清出去

刚上线的时候，我把能找到的文档全上传了。心想越多越好嘛。

这是个巨大的错误。

那些文档里有什么呢。2019年的员工手册，跟现在的规定完全不一样。三个版本的销售话术，互相矛盾。一堆只有写的人自己看得懂的缩写。还有些文档干脆就是空壳，只有个标题。

这些东西扔给AI，它能给出好答案才怪了。

所以我做的第一件事，是把所有文档过了一遍。过期的删掉。矛盾的确认哪个是最新版。看不懂的找对应部门核实。缺内容的补上。

这个过程花了整整两周。很枯燥。但做完之后，AI的回答质量立马就不一样了。

数据清洗不是可有可无的锦上添花，是地基。地基打不好，后面全是歪的。

第二件事：让AI听得懂人话

你可能纳闷，AI不就是靠理解语言工作的吗。为什么还需要特别处理。

这里有个关键问题。文档是怎么被AI"吃"进去的。

简单说，长文档会被切成一段一段的小块。每个小块单独向量化，存进向量数据库。用户提问的时候，系统找到最相关的几个小块，送给AI生成回答。

问题就出在这个"切"上。

切得太大了。一个小块里塞了太多无关信息，检索的时候命中不精准。切得太小了。一个小块缺乏上下文，AI理解不了在说什么。

我调整了策略。

按语义单元切分。不是机械地按字数切，而是尽量让每个小块保持语义完整。设置重叠，相邻的块之间保留一定的字符重叠。不同的文档类型用不同的分块策略。

这个调整做完之后，检索的精准度提升了一大截。

第三件事：教AI说人话

知识库回答用户的时候，不能只是把检索到的内容原封不动地丢出来。

AI要做的是理解用户的问题，从检索到的知识中提取关键信息，然后用自然的语言组织回答。

但这里有个坑。AI很容易产生幻觉。

怎么解决。我加了一个约束。要求AI只能基于检索到的知识来回答。如果检索到的知识不足以回答问题，就直接说不知道，不要瞎编。

同时要求AI在回答中标注信息来源。告诉用户这个答案是从哪个文档的哪个部分来的。这样用户可以自己核实。

第四件事：让它越用越聪明

知识库上线不是终点。恰恰相反，是起点。

我建立了一个反馈闭环。每个回答下面都有两个按钮。有用和没用。用户点了没用，我就去看这个回答哪里有问题。

是知识库里没有这个内容，就补充内容。是检索问题，就调整检索策略。是AI回答问题，就优化提示词。

每周做一次数据分析，每两周做一次内容更新。知识库就这样一点点变聪明了。

第五件事：让对的人看到对的东西

这个其实说的是权限管理。

公司里的知识不是所有东西所有人都能看的。薪酬信息、客户资料、战略规划，这些都有保密级别。

我设计了一个分级的权限体系。L1公开，L2内部，L3敏感，L4机密。员工入职自动获得对应权限，离职自动回收。

安全这块不能偷懒。特别是现在数据合规要求越来越严。

回头看

清垃圾、精切分、说人话、持续进化、管好权限。

没有一件是需要高深技术的。每一件都需要耐心和细致。

如果你正在规划AI知识库，我的建议是。别想着一步到位。先解决最痛的问题，做一个能用的MVP，然后根据反馈一步步完善。

知识管理是个长期的事。但一旦做成了，它真的会成为公司最有价值的资产。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

知识库，从"什么都答不上来"到"全公司都在用"

立即咨询 JOTO

想把这些做法用到你的业务里?

Start your enterprise AI rollout

Tell us what you need