前言
OpenAI 正式发布开源语言模型 gpt-oss-120b 与 gpt-oss-20b。这是自 GPT-2 以来,OpenAI 首次开放高性能语言模型的权重,并且采用了灵活的 Apache 2.0 开源协议,允许开发者自由使用、部署甚至定制。
其中,gpt-oss-20b性能对标GPT-3.5(o3-mini),需16GB显存运行,可部署于消费级设备、本地推理、离线使用等场景。如果你没有足够强的显卡,可使用飞桨AI Studio免费GPU算力部署体验gpt-oss-20b。
飞桨AI Studio每日免费提供GPU算力资源,具体配置如下:
• V100 16GB显存:每日免费使用4小时 • VT100 32GB显存:每日免费使用2.7小时
创建项目
打开https://aistudio.baidu.com/account,点击右上方“登录”按钮,用百度账号登录即可。
打开https://aistudio.baidu.com/my/project,点击右上方“创建项目”,选择“Notebook”,会弹出下方的对话框。填写“项目名称”,点击创建。
安装ollama
注意:文件需要保存到/home/aistudio/work目录才能持久化保存。
下载ollama
飞桨AI Studio无法访问github,需通过代理网站ghproxy.cn进行下载。命令如下
cd ~/work
wget -c https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.11.3/ollama-linux-amd64.tgz
tar zxf ollama-linux-amd64.tgz下载模型
通过环境变量OLLAMA_MODELS指定模型的存放目录为 ~/work/models,并启动ollama服务
mkdir -p ~/work/models && export OLLAMA_MODELS=~/work/models
~/work/bin/ollama serve新建终端,输入命令下载gpt-oss模型
~/work/bin/ollama pull gpt-oss
如果发现下载速度低于2MB/s,可尝试重新执行pull(但不要重启ollama serve的进程)。
启动gpt-oss
切换到GPU环境
启动ollama服务
通过环境变量OLLAMA_MODELS指定模型的存放目录为 ~/work/models,并启动ollama服务
mkdir -p ~/work/models && export OLLAMA_MODELS=~/work/models
~/work/bin/ollama serve确认gpt-oss完成下载
新建终端,输入以下命令查看
~/work/bin/ollama list
输出结果可以看到gpt-oss的信息
NAME ID SIZE MODIFIED
gpt-oss:latest f2b8351c629c 13 GB 6 minutes ago启动gpt-oss
新建终端,输入以下命令启动gpt-oss
~/work/bin/ollama run gpt-oss
运行成功后就可以开始体验gpt-oss了。
测试
总结
本文介绍利用飞桨AI Studio每日免费提供GPU算力资源部署体验gpt-oss。进一步,还可以通过frp内网穿透让windows部署的智能体开发平台(例如dify和Coze Studio)连接飞桨服务器上部署的ollama。另外,我们也可以利用GPU算力学习其它知识:模型微调,模型训练,深度学习训练等。
如果您觉得本文对您有帮助,欢迎关注、点赞、转发、推荐
#ai #openai #chatgpt #免费GPU算力 #飞桨
