很多小伙伴，兜里揣着 N95/N97/N100/N150 这些主流的 CPU NAS，然后问：有没有什么模型可以在 NAS 上跑呀！！
如果之前我肯定嗤之以鼻，就这个性能，纯 CPU ，能跑出什么花来。要么就是能力太差，要么就是性能不够，两难啊。
但是随着如今开源小模型不断升级，对移动端平台的开发越来越高，MOE 框架和量化技术越来越成熟，低性能高能力的模型也在不断涌现。1B 到 3B 级别战神涌现，经过更干净、更高质量的数万亿 Token 语料洗礼，其基座推理能力、代码编写能力和中文理解能力，已经全面超越了早期的 70B 甚至初代 GPT-3.5。
比如最近面壁智能在今年推出的 MiniCPM 系列模型：MiniCPM-V-4.6 多模态、MiniCPM5-1B 文本模型，完全可以在 NAS 的主流 CPU 架构下跑，而且速度并不慢。
MiniCPM5-1B 之前我们介绍过如何部署。今天再来说一说多模态的 MiniCPM-V-4.6 在 NAS 平台的使用效果如何。
为何体验更低一点性能的 NAS，我这边使用了上一代的极空间 Z4Pro 8G，处理器为 N97。当然现在的极空间Z4Pro 已经往 N355 、16G 这种更强大的性能走了，所以新购置或者未来有购置想法的朋友，比我文章里的效果只会更好。
🔻MiniCPM-V-4.6 参数，支持文本、图像、视频输出，支持文本输出。上下文 256K，总参 1.3B，部署体积约 1.5Gb。N97 8G NAS 设备下，tokens 输出 ≈ 25t/s，平均识图速度 ≈ 2min/张。
极空间的宝子们，我们直接去应用商店找 Ollama 这个应用，它归属于左侧的 Docker 应用标签下。配置一下文件路径和 API 端口后，无脑安装，什么都别管。
这个 API 端口建议 50000 以上，后续给第三方使用的就是标准的 Ollama nasip:端口 。上下文窗口呢，可以根据自己的内存剩余量来调节。
我这里选 16K 纯粹是试试水，际上可以开到最大。
部署完成后，点击上方的打开 SSH 进入 Ollama 配置页面，我们来下载模型。
输入指令 ollama pull openbmb/minicpm-v4.6 就可以下载模型。如果你想开启 thinking 的，那么就是输入 ollama pull openbmb/minicpm-v4.6-thinking 。
建议大家下载好以后，现在 SSH 里调试一下，输入 ollama 唤起工具，然后选择第一个 Chat with a model。
接着选择下面的 more，切换到 minicpm-v:latest 模型来进行对话。如果对话正常，说明模型运行 OK，关掉 SSH 界面即可。
接下去，我们使用外部工具调用 NAS 里部署的多模态小模型。这里以 Cherry Studio 为例。说实话，现在我使用 Cherry Studio 越来越少了，很多新功能都没用过，但是如果遇到新模型要配置的话，我还是会优先选择，但是总有一股愧疚感，呜呜呜。
来到模型服务，选择内置的 Ollama 模型，在 API 地址里输入 http://NAS IP：端口，API 密钥随便打。录入完成之后点击下方的获取模型列表。
网络正常的话，这里就会出现我们刚才下载的 MiniCPM-V-4.6 ，点击右侧加好将其加入对话列表。
来测试一下效果。回到 Cherry Studio 对话页面，选择@模型，贴一张图片上去让模型看看。我这里选择了前段时间做 ESP32 小屏幕用的板子图。
大概 2 分钟左右，模型完成了图像识别，并且明确给出这是一块 ESP32 模块的引脚布局图。说明识别效果还是非常棒的。
接着，我又用 Hermes-Agent 的 Logo 为例，让 MiniCPM-V-4.6 识别图片内容、颜色。这次的识别结果也很不错，首先这是一张黑白插画，模型识别出了绘画风格（漫画）、发型（齐肩短发+刘海）、科技感（耳机、时尚外观）、造型、面部表情等等，几乎没有出入。
唯一漏掉的是项圈，不过这个如果提示词里增加要求，我想也肯定可以识别出来。
回答的速度，25 tokens/秒，首字延迟 119028 ms。
在模型回答的过程中，我去极空间看了下 CPU 和内存消耗。首先是 CPU，基本是吃满了的，这意味着用模型来视图最好放在晚上或者 NAS 使用低峰，避免设备卡顿。
内存方面，波澜不惊，因为只要缓存进去了，就不会有变化。
很多人可能会问，这个小模型跑在 NAS 上有啥用？这里我简单举 3 个例子：
1️⃣ 本地隐私数据、文件的提炼、分析。
2️⃣ 没有 AI 空间的型号，可以使用脚本批量跑识图、识视频，这个又涉及到另外一个项目了，可以将图片、视频的识别结果保存为 Json 格式，供外部应用使用。（这个我们后续再介绍）
3️⃣ Agent 的心跳和低价值任务，用本地免费模型跑任务。
写在最后
以上就是在 N95/N97/N100/N150 这一批处理器上可用的小体量高性能模型 MiniCPM 系列的部署和性能测试。
再高级一点的处理器，不管是 AMD 还是 Inter 都可以轻松跑下这个模型。可惜的是我手上没有极空间的 ARM 设备，不然我高低跑一下 NPU 加持下的输出效果！
