使用FastGPT实现本地焊接知识库“带图”回答

最近一直在打磨自己的焊接本地知识库和RAG问答，LLM的回答时而惊艳，时而气人，总的来说还是蛮有意思的。不过时间长了，慢慢觉得答案有点单调，原因很简单，就是无图！

在B站上看到UP主—“崩坏的领航员”提供的方法，就是对知识库动手脚，比如特意添加一条，内容上则是图的相关信息或者标题，然后在辅助数据中按照MARKDOWN的规则，将图片的URL写进去，这样在问答时，URL就会作为答案进行输出。因为FastGPT的界面本来采用的就是MARKDOWN的形式，所以界面内会自动显示图片。

自行操作的时候，我发现对于建立本地知识库而言，FastGPT原本就提供了相关的功能。

在上传文件建立知识库时，FastGPT会将文档中的图片自动上传到本地服务器上（我猜的），同时给每一张图片进行自动命名。

以文档中第一张图片为例，它在知识库中的标记是“/api/system/img/661a45aa5117439f22da7f61”，在确认建库后，在浏览器中输入“localhost:3000/api/system/img/661a45aa5117439f22da7f61”便可以直接查看该图片。

因此，一旦检索到的知识库里包含图片标记，同时提示词里包含“图片需求”，知识库里的图片标记就会被LLM揉合进答案里，同时自然呈现在回答的界面里。

其实上面的方法是误打误撞发现的，因为起初多次尝试时，图片并没有显示，主要原因还是LLM对图片标记处理的过程并不稳定，容易出现以下问题：

（1）图片URL并不是上述基于fastgpt3000端口的，而是LLM胡诌的，或者说基于知识库的内容改编出来的。由于图片标记只是一个相对路径，所以LLM很容易把握不住。

（2）图片URL由i.imgur.com打头，后面有时跟着知识库里的标记号，有时是其它编号，反正很奇怪。

（3）即使图片可以正常显示，但当知识库中的图片标记较多时，会出现图片混乱显示的情况，尤其是图片和标题离得较远时，LLM会“借机发挥”，多出图，出错图。

目前想到的一个方法是将word文档中的图片提取出来，然后自己重建立一个虚拟服务器，从而将图片地址URL化，然后再把URL导入原始word，这样在生成知识库时，图片地址和原文、用户问题可以建立更强的语义相关度，既可以保证图片的显示，同时也可以尽可能地避免图片的错误显示。