而在这几篇文章中，使用的大模型并不是本地部署，都是远程调用大模型厂商的API。然后我发现评论区很多朋友的使用场景对私密性要求很高，希望能全链路（包括大模型）本地部署，整个RAG过程完全在内网，这样才能保证数据安全。虽然本地知识库+大模型API 也还算安全，但由于RAG的流程是根据问题检索相关内容作为上下文，连同问题一起发送给大模型。所以通过API远程调用大模型，理论上确实是存在数据泄露风险的。
我为什么一直没出：本地知识库+本地大模型的文章呢？主要是本地部署大模型，并获取大模型API较为繁琐，对小白很不友好。而且还需要科学上网，否则模型下载速度巨慢。然而这两天无意中发现了一个国产开源工具--AingDesk它虽然是最近刚开源的一个项目，目前Star只有635，但确实有不少惊艳到我的地方（而且完全能满足大家的需求）。https://github.com/aingdesk/AingDeskhttps://cnb.cool/aingdesk/AingDesk1.开源，免费，无限制；
2.无需额外安装ollama，支持本地模型一键安装（就点一下，等着下载好就ok了），而且不需要科学上网，下载速度飞快~
3.支持联网、知识库的文件上传支持几乎所有格式，没有复杂的配置，但是知识库检索非常准确；
4.工具支持windows、mac一键安装，同时也支持docker部署；
5.搭建好的智能体还可以一键分享给家人、朋友、同事使用。
知识库、语言模型、索引模型全都用本地的，这次是真的不联网也完全可以用了，再也不用担心数据泄露~友情提示：本期工具不用docker部署，下载后一键安装。
https://www.aingdesk.com/zh/点击左下角【本地模型】，有300个模型供你挑选，包含带视觉功能的模型，索引模型，支持工具调用的模型。看中哪款，点击安装就行。甚至可以一键安装满血版的DeepSeek...（当然，同样支持最强32B模型QWQ）接下来我们搭建知识库（需要索引模型，语言模型），我的电脑配置不高我的电脑配置：显卡-8G显存的3060TI，CPU-AMD Ryzen 7 5800X 8-Core 3.80 GHz，内存-32G
本地大模型主要还是吃显存，教大家一个选择适合本机模型的方法：大语言模型，我选择qwen2.5:14b（如下图 大小是9G）9×1.2=10.8G，所以运行qwen2.5:14b所需的显存大约是10.8G，我的显存大小只有8G，但还是勉强可以跑起来，只不过输出稍微慢一些。看这模型下载速度：134MB/s，我没有开魔法上网（对国内用户非常友好）创建知识库，嵌入模型选择刚刚下载的beg-m3:567m上传文件，这里支持几乎所有文件类型（我们先试试公众号文章pdf）经过测试，发现小模型里面还得是qwen蒸馏出来的deepseek-r1模型给力。知识库检索准确度非常高，但是想要回复的内容更准确，还是得用更强的语言模型，本地有条件最好上QWQ:32b
从下图中可以看出，上传的pdf被解析成markdown格式文件了，解析出来的内容还是挺准确的。问答效果也挺不错，Excel也是解析成了markdown格式试了一下，上传图片到知识库，发现目前图片解析还不太行它的知识库，我体验下来，创建和使用都非常简单，检索的准确度甚至可以媲美fastgpt了，而且支持几乎所有的文件格式（都是把文件解析成markdown）本地索引模型 直接上小参数量的beg-m3:567m，检索效果就很好了，瓶颈在语言模型上。本地算力够的朋友推荐直接上QWQ:32b。点击第三方模型API->硅基流动->配置apikey->保存API说实话，用上面的本地8b、14b的小参数语言模型测试，回答效果确实一般但换成硅基的DeepSeek V3满血版之后，熟悉的感觉又回来了，回答的既准确，又详细。PS：索引模型还是没变，还是之前配置的本地索引模型：beg-m3:567m
设置->默认搜索引擎，全都是国内搜索，也都是免费调用（对国内用户来说非常友好了）日期25年3月26，正确，而且今天刚好出了Mureka O1音乐大模型，给出的热点也完全没毛病。这个分享功能需要本地联网，整个调用过程需要通过AingDesk云服务中转，内网穿透访问到你本地的AingDesk。网页访问使用，可以看到检索的知识库相关资料文件名，但无法获取源文件内容。
这个工具可以一键安装几乎所有开源大模型，而且国内下载速度贼快。当知识库和所有模型都在本地的时候，可以完全离线使用，私密性拉满。即便使用小参数量的索引模型，知识库检索准确度也非常高。但由于项目还在初期，UI比较简陋，没有工具插件、和工作流，希望后面越做越好。https://docs.aingdesk.com/zh-Hans/Installation/docker补充说明：该工具不会和本地的ollama冲突，如果和ollama同时开启，它还会自动读取ollama中已经安装的本地模型。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
