DeepSeek 已经将这场生成式 AI 竞争提升到了另一个层次。
越来越多的企事业单位，包括政府部门都宣称自己已经或者即将在本地部署 DeepSeek R1。
甚至有些人已经准备好在本地运行 671B 版本的模型。但要在本地运行如此庞大的模型可不是开玩笑的；你需要在硬件上投入一笔不菲的花费，才能尝试进行推理操作。
硬件成本
大部分费用都集中在硬件上。我们需要讨论的是 GPU、CPU、RAM、SSD 存储、冷却系统等。
GPU
GPU 是为 AI 工作负载优化的尖端加速器，能够加速像DeepSeek-R1这样的超大模型的训练和推理过程。
NVIDIA H100 是一款基于 Hopper 架构的先进 GPU，拥有第四代 Tensor 核心和 Transformer 引擎，能够比之前的 A100 GPU 提供最高 9 倍的训练速度和 30 倍的推理速度。
4 个 NVIDIA H100 80GB GPU（每个$25000） 总费用：$100000（￥728375）
参考：《LLM应用落地：购买GPU的最佳指南》
CPU
高端 CPU 能确保在资源密集型操作中保持平稳的多任务处理和系统稳定性。
DeepSeek-R1 推理需要使用 Intel Xeon Platinum，因为它具备先进的 AI 加速特性，如 Intel AMX 和 AVX-512，这些特性显著提升了深度学习任务的性能。
与前代产品相比，它的AI推理性能最高提升了42%，非常适合高负载工作负载。此外，它优化的内存和互联技术能够高效处理大型数据集和复杂模型。
Intel Xeon Platinum $1550（￥11289.81）
RAM
大容量内存对于处理海量数据集和模型参数至关重要，能够避免出现性能下降。
512 GB DDR4 $6399.98（￥46615.85）
SSD 存储
快速存储确保在训练期间能够快速访问数据。
SSD（固态硬盘）是一种使用闪存存储数据的设备，与传统的硬盘（HDD）相比，SSD 提供了更快的读写速度、更高的耐用性和更高的能效。
4TB NVMe SSD 指的是一款使用 NVMe（非易失性内存快速接口）协议的高容量（4TB）硬盘，利用 PCIe 接口，比旧款基于 SATA 的 SSD 提供了显著更快的数据传输速率。NVMe SSD 非常适合需要高速存储的任务，如游戏、视频编辑或服务器等。
4TB NVMe SSD $249.99（￥1820.86）
电源供应单元（PSU）
大功率电源对于稳定供电多个 GPU 非常重要。
2000W PSU $259.99（￥1893.70）
散热系统
GPU 在工作时会产生大量热量，液冷系统能够有效防止过热。
定制液冷系统 $500（￥3641.87）
主板
ASUS S14NA-U12 支持双插槽 GPU 和高端 CPU $500（￥3641.87）
机箱
宽敞的机箱能够容纳定制的散热系统和多个 GPU。
Cooler Master Cosmos C700M $482（￥3510.77）
合计
硬件花费：$106776（￥777729.69）
软件成本
操作系统
Debian Linux（免费）
编程语言
Python 3.10+（免费）
DeepSeek-R1模型
免费
CUDA 工具包与 cuDNN
NVIDIA 的深度学习库（免费）
深度学习框架
支持 CUDA 的 PyTorch（免费）
软件总费用 0
总费用
