DeepSeek 开源推理框架 DeepInfer，支持华为昇腾与英伟达 GPU 降本增效

DeepSeek 于周二将其内部专有AI推理框架 DeepInfer 开源，此举旨在将其自身定位为首选开源供应商，同时吸引注重成本的客户。

DeepInfer 运行在英伟达（Nvidia）SM100 GPU 和华为昇腾950 NPU 上，以提供离线推理能力。该厂商选择在来自中国芯片制造商华为和美国AI巨头英伟达的硬件上运行，正值中国厂商努力减少对英伟达依赖之际。通过同时支持两家芯片厂商，DeepSeek 可以兼顾其中国及西方客户。

该引擎是针对 DeepSeek V4.1 Flash 模型的优化层，后者以高端智能体（agentic）能力和编程能力著称，使厂商能在所支持芯片上更高效地运行该模型。该引擎可加快 DeepSeek 模型响应生成速度，并降低计算成本。

DeepInfer 的发布正值企业寻求 削减AI推理成本之际，目前许多AI模型正驱动AI智能体，而此类智能体需消耗大量token，相关成本可能高得令人难以承受。然而，该厂商将推理框架开源的举措，或可助其企业客户限制此类开支。

优化成本

“围绕token优化存在大量讨论，”Informa TechTarget旗下Omdia公司分析师连哲瑞（Lian Jye Su）表示，“token消耗量已飙升至极高水平，其理念在于：若能以极快速度、极低成本完成一项任务，便……有助于优化您的AI基础设施投资。”

DeepInfer 对企业有益，因其可加速 DeepSeek 模型的推理处理，从而减少执行推理工作负载所需的GPU数量。

“您能更快地完成工作负载，”Su 表示。

尽管该开源引擎将惠及在私有本地基础设施上运行 DeepSeek 的企业，但使用其他模型的企业亦可采用其他开源推理引擎，例如英伟达 TensorRT-LLM，该引擎可加速运行于 英伟达GPU上的大语言模型。

DeepSeek 的收益

不过，J. Gold Associates公司总裁兼分析师杰克·戈德（Jack Gold）表示，DeepSeek 将 DeepInfer 推向公共开源领域，亦是为其自身利益考量。

“从市场传播角度看，他们希望被视作该领域的领导者，因此任何能对外展示其领导力的举措均对其有利，总体而言亦有利于中国。”他说。

戈德补充称，DeepSeek 在中国芯片制造商华为的硬件上运行该引擎，这对芯片供应商有利，因华为正致力于树立其作为英伟达可靠替代方案的声誉。

“若此举有助益，则对芯片有利，对芯片之上的AI模型亦有利，”戈德表示。

不过，Su 表示，DeepSeek 对英伟达芯片的持续依赖也表明，尽管大多数中国厂商希望降低对美国AI芯片巨头的依赖，华为在某些领域仍落后于英伟达。

此外，美中政治紧张关系持续加剧，本周二进一步升级——此前美国已禁止联邦机构使用 DeepSeek，中方称此举系企图将技术政治化。

与此同时，Su 表示，其开源举措“表明 DeepSeek 对创新极为执着，且对将这些创新理念开源亦极为执着。”

“若您已在使用 DeepSeek 而非其他模型，则意味着您是一家更注重成本的企业，”他补充道。