这是我们新一篇关于大模型的文章，我们此前还讲过如何运行 LLama3 大模型。而这次，我们将使用 Ollama 运行阿里千问 Qwen2:7b。要知道 Qwen2 可是目前最热门的开源大语言模型了，甚至在一些性能测试中比 LLama3 表现还突出。谁不想试试看呢？在本文中，我们将使用目前市场上最热门的 GPU 之一，NVIDIA A5000。让 Qwen2 在这个 GPU 上运行起来！而且我们将展示的是运行下一代大语言模型阿里 Qwen2 的最简单方法！在此之前，先简要普及一下 A5000 的特点。基于Ampere架构构建的 A5000 ，是一款强大的 GPU，其性能被公认为能胜任 增强图形渲染、大模型训练和推理等工作。A5000 有 8192 个 CUDA 核心和 24GB 的 GDDR6 内存，并具备很强的计算能力和较高的内存带宽。
A5000 支持实时光线追踪、AI 增强型工作流程以及 NVIDIA 的 CUDA 和 Tensor 核心等高级功能，可提高性能。凭借其强大的功能，A5000 非常适合处理复杂的模拟、大规模数据分析和渲染高分辨率图形。简单介绍下阿里 Qwen2-7b
Qwen2 是阿里云最新推出的大语言模型系列，提供基础模型和指令调优版本，参数范围从 5 亿到 720 亿，其中包括一个 Mixture-of-Experts 模型。该模型已经在 Hugging Face 上开源了。而且开源后 Hugging Face 的联合创始人兼首席执行官就发文宣布，Qwen2-72B 冲上HuggingFace 开源大模型榜单 Open LLM Leaderboard 第一名，全球排名最高！
与其他开源模型如 Qwen1.5 相比，Qwen2在各种基准测试中通常表现更好，包括语言理解、生成、多语言能力、编码、数学和推理。Qwen2 系列基于 Transformer 架构，并具有如 SwiGLU 激活、注意力 QKV 偏差、组查询注意力和改进的分词器等增强功能，适用于多种语言和代码。此外，据说 Qwen2-72B 在所有测试的基准测试中都以很大的优势超过了 Meta 的 Llama3-70B。下面这张图显示了 Qwen2-72B 在各种基准测试中的性能，它在多个领域进行了 16 项基准测试的全面评估。这个模型在增强能力和与人类价值观的一致性之间取得了平衡。此外，该模型在所有基准测试中显著优于 Qwen1.5-72B-Chat，并与 Llama-3-70B-Instruct 相比甚至更胜一筹。即使是较小的 Qwen2 模型也超越了与之类似或更大的一些模型。Qwen2-7B-Instruct 在基准测试中“遥遥领先”，特别是在编码和与中文相关的指标上表现出色。可用版本
Qwen2 的训练涵盖了包括英语和中文在内的 29 种语言。它有五种参数大小：0.5B、1.5B、7B、57B 和 72B。7B 和72B 模型的上下文长度已扩展到 128k 个 token。图：Qwen2系列包括五个不同大小的基础和指令调整模型另一个要用到的开源项目 Ollama
本文将向你展示使用 Ollama 运行 Qwen2 的最简单方法。所以我们有必要给还未使用过 Ollama 的朋友们介绍一下它。Ollama 是一个开源项目，提供了一个用户友好的平台，可以在你的电脑或使用 DigitalOcean Paperspace （GPU云服务）等平台上执行大语言模型（LLMs）。Ollama 提供对各种预训练模型库的访问，可在多种不同的操作系统上轻松安装和配置，并公开本地 API 以无缝集成到应用程序和工作流程中。用户可以自定义和微调 LLM，通过硬件加速优化性能，并提供简单的交互界面以方便用户进行直观地交互操作。另一个要使用到的平台 Paperspace
Paperspace 是 DigitalOcean（NYSE:DOCN）旗下的 GPU 云服务，为 AI 企业提供开发、训练、部署等一系列云计算服务。DigitalOcean 的 Paperspace 是 NVIDIA 官方 CSP 合作伙伴，提供了包括 H100、A100、A5000、A6000 等多种 GPU 资源。同时，DigitalOcean 的 GPU 云服务还提供了云端环境，开发者可以在云端训练、部署 AI 应用。DigitalOcean 还在中国地区通过独家战略合作伙伴卓普云，专门为中国地区的用户提供售前咨询与技术支持服务。在成本上，DigitalOcean 的 GPU 价格比 AWS 和 GCP 更加亲民，而且卡型更加丰富。相对于 GPU 租赁平台，DigitalOcean 不仅技术与功能更加成熟可靠，而且提供较高的数据安全性。本文后续的开发过程，就会用到 DigitalOcean 的 A5000 GPU 云服务。使用 Ollama 在 Paperspace 上运行 Qwen2-7b
nvidia-smi
接下来，打开一个终端，我们将开始下载 Ollama。要下载 Ollama，请将以下代码粘贴到终端中，然后按 Enter。curl -fsSL https://ollama.com/install.sh | sh
完成此操作后，清空屏幕，输入以下命令并按回车来运行模型。ollama run qwen2:7b
如果遇到错误：无法连接到ollama应用程序，它是否正在运行？尝试运行以下代码，这将帮助启动ollama服务ollama serve
或者尝试通过运行以下命令手动启用 systemctl 服务sudo systemctl enable ollamasudo systemctl start ollama
ollama run qwen2:7b
上图显示了在 Paperspace 中的实际运行过程。我们将下载模型的层。由于它是一个量化模型，所以下载过程不会花费太多时间。接下来，我们将开始使用我们的模型回答一些问题，检查模型的工作方式。图：Qwen2:7b 模型生成的斐波那契的 Python 代码你可以尝试一下该模型的其它版本，但 7b 是最新版本，并且是与 Ollama 一起提供的。模型在各个方面都表现出色，与早期模型版本相比，它目前与 GPT 的整体性能相近。用于评估的测试数据来自 Jailbreak，并翻译成多种语言。值得注意的是，Llama-3 在多语言测试中表现不佳，因此被排除在此次比较之外了。研究结果表明，Qwen2-72B-Instruct 模型达到了与 GPT-4 相当的安全水平，并根据显著性检测（P值）显著优于 Mistral-8x22B 模型。结论
总之，我们可以说 Qwen2-72B-Instruct 模型在各种基准测试中展示了其卓越的性能。特别是，Qwen2-72B-Instruct 超越了之前的版本，如 Qwen1.5-72B-Chat，并且与像 GPT-4 这样的最先进模型相比也毫不示弱，这一点通过显著性测试结果就能得到证明。此外，它在多语言环境中的安全性方面显著优于像 Mistral-8x22B 这样的模型。大语言模型如 Qwen2 的使用的快速增长预示着一个未来，在这个未来中，人工智能驱动的应用程序和解决方案将变得越来越复杂。这些模型有潜力彻底改变包括自然语言理解、生成、多语言交流、编码、数学和推理在内的各个领域。随着这些模型的持续进步和改进，我们可以期待人工智能技术取得更大的飞跃，从而开发出更智能、更像人类的系统，更好地满足社会需求，同时遵守道德和安全标准。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
