基于Ollama本地部署Llama3指南！

众所周知，扎克伯格的Meta又开源了Llama3 8B和70B的预训练（pretrained）和指令微调（instruction-tuned）两个版本，还有个更大的400B参数预计在今年夏天发布，这个400B可能是第一个 GPT-4 级别的开源模型！

我们先来对Llama3做个初步的了解把。

模型架构

Llama 3 是一个自回归语言模型（an auto-regressive language），它使用优化的 transformer 架构。调整后的版本使用监督微调 （SFT） 和带有人类反馈的强化学习 （RLHF），以符合人类对有用性和安全性的偏好。

相关参数

Llama3这个模型是在Meta新建的两座数据中心集群中训练的，包括超4.9万张英伟达H100GPU。

如何安装

ollama如何安装可以看往期文章，这里不多做赘述了。

谷歌开源Gemma，本地部署指南！

拉取Llama3

短短几个小时已经更新了54个tags了。

目前推荐拉取这四个版本，其他量化版本是不明用户调整的。

左边是版本下拉选择，选中的版本在右边代码窗口会显示拉取代码，只要点复制icon，并把它黏贴到CMD或Powershell终端内。

注意：这次示例以windows用户为例。

就像这样，按回车开始拉取llama3（国内用户拉取速度也非常快）。

实际使用Llama3

llama3_8B的生成速度非常快，这个版本用N卡8G的显存跑问题也不大。

接下来用Open WebUI设置SD指令大师 system prompt试一下指令的理解，很完美。