全新 NVIDIA NIM：可适用于 Mistral 和 Mixtral 模型并为您的 AI 项目赋能

大语言模型（LLM）在企业组织中的应用日益广泛，许多企业都将其整合到 AI 应用中。虽然从基础模型着手十分高效，但需要花费一定的精力才能将它们整合到生产就绪型环境中。NVIDIA NIM 简化了这一过程，使企业能够在数据中心、云、工作站和 PC 等任何位置运行 AI 模型。

专为企业设计的 NIM 提供一整套预构建云原生微服务，这些微服务能够被轻松地整合到现有基础设施中。这些微服务经过精心的维护和持续的更新，具有开箱即用的性能，并确保您能够获得 AI 推理技术的最新进展。

基础模型的增长源于其能够满足各种企业需求的能力，但没有任何一个单一的模型能够完全满足企业的需求，企业通常会根据特定的数据需求和 AI 应用工作流，在其用例中使用不同的基础模型。

考虑到企业需求的多样化，我们扩大了 NIM 的阵容，涵盖了 Mistral-7B、Mixtral-8x7B 和 Mixtral-8x22B，这三个基础模型在特定任务中的表现都十分出色。

图 1. 新的 Mixtral 8x7B Instruct NIM 

可从 NVIDIA API 中获取

Mistral 7B Instruct 模型在文本生成和语言理解任务中表现出色。该模型可在单个 GPU 上运行，非常适合语言翻译、内容生成和聊天机器人等应用。将 Mistral 7B NIM 部署至 NVIDIA 数据中心 GPU 后，开发者在内容生成任务中可实现的开箱即用性能（token/秒），其性能最多可提升至没有使用 NIM 时的 2.3 倍。

相较无 NIM 运行的情况，NIM 可以提高这两种模型的开箱即用性能。当用于内容生成且在 1 个 NVIDIA Tensor Core GPU 上运行时，Mixtral-8x7B NIM 的吞吐量最多可提高 4.1 倍。在内容生成和翻译用例中，Mixtral-8x22B NIM 的吞吐量最多可提高 2.9 倍。

图 3. Mixtral 8x7B NIM 

提高了内容生成的吞吐量

输入 500 个 token，输出 2,000 个 token。200 个并发请求。NIM 开启时：FP8。吞吐量为 9,410 token/秒。TTFT 为 740 毫秒，ITL 为 21 毫秒。NIM 关闭时：FP16。吞吐量为 2,300 token/秒，TTFT 为 1,321 毫秒，ITL 为 86 毫秒。

图 4. Mixtral 8x22B NIM 

提高了内容生成和翻译的吞吐量

输入 1,000 个 token，输出 1,000 个 token。250 个并发请求。NIM 开启时：吞吐量为 6,070 token/秒，TTFT 为 3 秒，ITL 为 38 毫秒。NIM 关闭时：吞吐量为 2,067 token/秒，TTFT 为 5 秒，ITL 为 116 毫秒。

开发者可以使用 NIM 缩短构建适用于生产部署的 AI 应用所需的时间，同时还能提高 AI 推理效率，并降低运营成本。借助 NIM，经过优化的 AI 模型实现了容器化，为开发者带来了以下优势：

这些云驱动的微服务可提供低延迟、高吞吐量并可以轻松扩展的 AI 推理，使用 Llama 3 70B NIM，最多可将吞吐量提高 5 倍。NIM 还支持精确的微调模型，无需从头开始构建即可实现超高的准确性，进一步提高了 AI 推理性能。

通过简化与现有系统的整合来加快进入市场的速度，并在 NVIDIA 加速基础设施上提供最佳性能。借助专为企业使用而设计的 API 和工具，开发者可以实现其 AI 能力的最大化。

确保您的 AI 应用和数据具有强大的可控性和安全性。通过 NVIDIA AI Enterprise，NIM 支持在任何基础设施上的灵活自托管部署，提供企业级软件、严格的验证以及与 NVIDIA AI 专家的直接连线。