Ollama 是一个轻量级、可扩展的大模型框架，这个开源项目能帮助你在本地电脑上玩转和运行大语言模型。如果你的电脑没有 GPU 也是能使用的，只不过大模型会使用 CPU 计算慢一些。Ollama 支持 macOS、Windows 预览版和 Linux 系统。你可以直接去开源项目的主页去找最新的部署方式：github.com/ollama或者使用 Docker 来快速启动 Ollama。此外，Ollama还提供了Python 和 JavaScript 库，方便开发者集成到自己的项目中。下载链接：github.com/ollama/ollama#macos下载链接：github.com/ollama/ollama#windows-previewcurl -fsSL https://ollama.com/install.sh | sh
Docker
Ollama 的官方 Docker 镜像可在 Docker Hub 上找到，名为`ollama/ollama`。
第二步 下载模型
Ollama支持一系列模型，可以去 ollama.com/library 去下载，例如 Llama 3、Gemma、Mistral和国内的千问等模型都支持，具有不同的参数和大小，用户可以根据需要下载和运行。下载完成，你就能在本地电脑上随意的切换和使用你下载的大模型了。你可以打开命令行，使用使用 ollama run 命令运行模型，比如：执行这个命令会启动 Ollama REPL，你可以在其中与 Gemma 2B 模型进行交互。以下是示例：
如果你不喜欢在命令行的窗口使用大模型，推荐你使用 Ollama WebUI ，启动后你可以看到一个干净、直观的界面，类似于 ChatGPT 的界面。
开源地址：https://github.com/open-webui/open-webui
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
