本期给大家推荐有58k+star的开源大模型管理项目：ollama；
ollama是一款旨在简化大语言模型本地部署和运行的实用工具。它提供了一个轻量级且可扩展的框架,让开发者能够在本地机器上便捷地构建和管理LLMs。
这个框架非常适合初学者使用,它的调用方式已经封装成与OpenAI ChatGPT相同的标准输入输出,方便对接上层的问答系统。它支持众多大型模型,只需一个命令即可下载模型文件并启动服务,使用起来十分便捷高效。本文主要介绍如何利用docker部署ollama工具，快速部署llama3大模型服务。
下面是ollama支持的大模型列表：
完整的模型列表可以访问： https://ollama.com/library
github地址：
https://github.com/ollama/ollama官网下载地址：
https://ollama.com/download本文内容主要分为三个部分：
下面开始正式教程
部署前的准备工作：
1、安装好docker；
2、内存或者显存大小要求：
7B模型-至少需要8GB可用内存(显存)；
13B模型-至少需要16GB可用内存(显存)；
一、CPU方式部署ollama
1、拉取docker镜像
docker pull ollama/ollama2、部署ollama容器
docker run -d -v $PWD/ollama:/root/.ollama -p 11434:11434 \--name ollama ollama/ollama
3、进入ollama容器内部
docker exec -it ollama /bin/bash4、运行llama3 模型服务
ollama run llama3模型文件会自动下载；
等待下载完成即可，详细的使用教程请看下面的第三小节；
二、GPU方式部署ollama
1、安装 NVIDIA Container Toolkit. (若已安装则跳过这步！)
2、利用docker创建ollama容器
docker run -d --gpus=all -v $PWD/ollama:/root/.ollama \-p 11434:11434 --name ollama ollama/ollama
参数说明：
--gpus=all : 挂载全部的gpu
容器部署成功后截图：
3、进入ollama容器内部
docker exec -it ollama /bin/bash4、运行llama3 模型服务
ollama run llama3模型文件会自动下载；
问题1：你是谁？
问题2：你会做什么？使用中文回答
三、llama3 大模型的使用教程
1、curl命令行调用方式
浏览器访问：ip:11434；可以看到显示ollama服务器正在运行；
利用curl的方式调用llama3大模型
curl http://localhost:11434/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model": "llama3","messages": [{"role": "system","content": "You are a helpful assistant."},{"role": "user","content": "Hello!"}]}'
2、 python 代码调用llama3大模型
url="http://ip:11434/v1/chat/completions"
完整代码如下：
#!/usr/bin/env python# -*- coding: UTF-8 -*-"""@File ：ollama_function.py@Author ：aixiaoxin@Dateimport requestsdef request_chatgpt_function():url="http://ip:11434/v1/chat/completions" #ip为你部署的ipOPENAI_API_KEY="sk-xxxxx" # 不需要修改header={"Content-Type": "application/json","Authorization": "Bearer " +OPENAI_API_KEY}data={"model": "llama3","messages": [{"role": "system","content": "You are a helpful assistant."},{"role": "user","content": "你是谁？请用中文回答"}],"temperature":0,"stream":False}response=requests.post(url=url,headers=header,json=data).json()print(response)return responseif __name__ == "__main__":request_chatgpt_function() # 利用request请求调用
运行截图：
更多调用chatgpt的方式，可以参考下面的文章：
以上就是今天的所有内容了！
参考文献：
ollama的docker部署教程：https://hub.docker.com/r/ollama/ollama「往期精彩」
13k+star的LLM接口管理系统one-api的部署教程
