摘要:本文主要是作者通过年前购买的一张2080ti 22G,通过桌面部署deepseek 32b的大模型的干货分享,本文也对32B版本的本地版进行一些简要测测评,通过测评看是否有商业化的性能表现。 然后点击windws ,再点击Download for Windows,下载并安装运行环境。 如上Windows版本的ollama运行环境安装好后,然后按Win+R,输入CMD,打开命令提示符,输入:ollama run deepseek-r1:32b
如上,笔者就完成安装并运行了,本次安装小插曲,有点小慢哦,笔者23点的时候运行该命令,由于服务端下行速度慢,接近5小时,便先睡觉去了,今天早上起来,发现已完成下载并运行起来了,在命令 提示符下运行,操作体验会差一些,因此我们chatbox进行对接。 首先下载chabox,我们打开官网,可以看到这个下载按钮(如下图框选),我们下载好后进行安装。 我们打开chatgpt,配置如上配置,即可完成对接。 在2080ti 22G 显卡上,性能预估在20tokens/s,取决于上下文(动态7-21tokens/sa),本机配置说明:惠普z620 2697v2 *1 256GB,1T sata SSD ,GPU:2080 ti 22G 300A 性能20tokens/s,在个人(自动)内容创作上是够用的,这个结果笔者很满意,大家如果在关注手上已有,或者即将采购的2080ti 表现和其他卡的对比,笔者建议性价比可以对标3090,其价格便宜较高;另外关于个人部署和网络版的版本的利弊,网络版的优势在于是满血版本的优势,即670B版,弊端在于数据会发向云端,数据安全无法得到保障,其二,近期网络繁忙,会影响内容创作的计划。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询