Ollama和llama.cpp都是比较常见的本地部署大模型的工具，借助他们普通的笔记本也可以跑大模型。 Ollama和llama.cpp名字里面都带了个llama容易造成选择困难。本文希望能借助一个实际的例子，帮助你快速做出选择。先说结论：如果只是本地部署不考虑性能的话闭眼选Ollama，如果要做"极致优化性能为王"就选llama.cpp. 后文会分别用Ollama和llama.cpp部署DeepSeek-R1 32B的实践说明如何得出这个结论的。 Ollama和llama.cpp里面都带了个llama，就是我们熟悉的Meta开源的llama模型。 起初Ollama和llama.cpp都是用来服务llama的， 后来就独立发展成了两个独立的软件了， 他们都有自己的社区。 这里想重点说明的是， Ollama用llama.cpp作为底层实现模型推理的。这一点可以从Ollama的源码中得到答案：Ollama代码的子目录llama里面就是包含了llama.cpp的代码， 并且通过llama.go文件将c++的接口导出到golang空间使用了。因此， 从源码的角度就可以认为llama.cpp就是Ollama的底层。 llama.cpp推荐的模型格式是GGUF， 为了公平让Ollama也使用同一个GGUF的模型。 我这里实验使用的是：DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf 模型。3.1 Ollama部署DeepSeek-R1 32B Ollama默认是不支持GGUF格式的，需要用Modelfile转换以下。步骤如下：- 创建一个名为deepseek-r1-32b.gguf文件， 内容如下：
FROM ./bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf
ollama create my-deepseek-r1-32b-gguf -f .\deepseek-r1-32b.gguf
就可以DeepSeek-R1 32B的GGUF模型导入到Ollama使用了ollama run my-deepseek-r1-32b-gguf:latest
这时可以正常加载了， 通过ollama ps命令可以看到进程信息如下：NAME ID SIZE PROCESSOR UNTILmy-deepseek-r1-32b-gguf:latest ad9f11c41b7a 25 GB 87%/13% CPU/GPU 3 minutes from now
可以看到，整个模型有25G， 87%加载到了CPU内存空间，13%加载到了GPU空间。实际使用发现推理是很慢的，但是还是可以用的。3.2 llama.cpp部署DeepSeek-R1 32B我用的是gitbash，因此llama.cpp的安装参考的是 参考： https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md#git-bash-mingw64
你也可以根据自己的情况选择正确的参考内容进行安装。安装完后，用如下命令执行：build/bin/Release/llama-cli -m "/path/to/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf" -ngl 100 -c 16384 -t 10 -n -2 -cnv
ggml_vulkan: Device memory allocation of size 1025355776 failed. ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemoryllama_model_load: error loading model: unable to allocate Vulkan0 bufferllama_model_load_from_file_impl: failed to load modelcommon_init_from_params: failed to load model 'D:/llm/Model/bartowski/DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf'main: error: unable to load model
不过，既然我们已经知道了llama.cpp是Ollama的底层，那为什么llama.cpp的表现反而不如Ollama呢？这个就要说到Ollama自己做的一个优化了， 也就是llama.cpp的ngl参数。用llama.cpp部署的时候ngl参数是写死的，而Ollama则是自己根据模型文件动态计算的ngl参数。ngl参数的意思是将多少层加载到GPU去，我笔记本的GPU是4G显存，肯定不能将25G的DeepSeek加载进去的。因此llama.cpp的-ngl 100的用法肯定是不对的（100层基本就是全加载到GPU了），但是对于只有命令行的llama.cpp你也不好评估出-ngl应该取多少才能成功部署。那Ollama是怎么做的呢？答案在Ollama的源码memory.go里面。这个文件里面的如下函数实现了根据模型计算ngl值的功能：// Given a model and one or more GPU targets, predict how many layers and bytes we can load, and the total size// The GPUs provided must all be the same Libraryfunc EstimateGPULayers(gpus []discover.GpuInfo, f *ggml.GGML, projectors []string, opts api.Options) MemoryEstimate { // Graph size for a partial offload, applies to all GPUs var graphPartialOffload uint64 // Graph size when all layers are offloaded, applies to all GPUs var graphFullOffload uint64 // Final graph offload once we know full or partial var graphOffload uint64 ...限于篇幅我就没有完整列出这个代码了，感兴趣的可以自己看下。正是这个函数让Ollama动态的计算了ngl的值，从而做出了“87%加载到了CPU内存空间，13%加载到了GPU空间”的动作，最终成功部署DeepSeek-R1 32B的模型。 实话实说， 普通的笔记本能部署32B的模型真的是太强了，出乎意料。同样还是让它做前几天王毅外长交给DeepSeek的任务：翻译“他强任他强，清风拂山岗；他横任他横，明月照大江”。结果有点奇怪， 虽然也给出了部分翻译， 但是它理解错了任务。可能和资源首先Ollama做了其他的什么参数优化吧。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
