京东零售基于国产芯片的AI引擎技术

‍一、前言

随着大模型的广泛应用，作为人工智能三大支柱之一的AI算力，已经成为竞争的焦点。从模型训练到推理，算力存在于大模型生命周期的每一环，极大程度地影响着模型在实际业务场景的性能与效果。面对京东海量数据的各种场景，缺乏坚实的算力基础就犹如高楼大厦没有稳固的地基，上层的算法/数据无法发挥其作用。

而随着美国相继出台的高端AI芯片禁令，如何保障集团的算力安全成为一个我们无法回避的问题。2024年12月3日，中国半导体行业协会、中国汽车工业协会、中国互联网协会、中国通信企业协会集体发布声明，针对美国对华采取的出口限制表示坚决反对，认为美国相关芯片产品不再安全、不再可靠。四协会建议相关企业谨慎采购美国芯片，扩大与其他国家和地区芯片企业合作，积极使用内外资企业在华生产制造的芯片，呼吁中国政府支持可靠半导体产品供应商的稳定发展。

如何在京东业务场景让国产芯片可用、好用，是一个亟需解决的问题。然而，我们发现这并非易事，存在着以下挑战：

2.1 整体技术架构

2.2 GPU与NPU异构混合调度系统

• NUMA感知和网络拓扑感知调度：识别CPU NUMA和网络拓扑，确保任务被分配到最优的计算和网络资源上，从而最大化任务的执行效率。
• 资源碎片最小化：采用了多种调度策略，如Gang、BinPack和节点资源预留，来减少资源的碎片化，提高集群的整体占用率。
• 可配置的优先级驱逐机制：该机制为用户提供了配额保障和抢占能力，确保重要任务能够及时执行。同时，它也支持根据任务的优先级队列来维护业务之间的公平性，提供更好的用户体验。

2.3 高性能训练引擎

2.4 高性能推理引擎

• 模型优化：计算方面通过GE图编译优化和ATB高性能算子技术对Paged Attention、Flash Attention、Sub_Mul_Concat等操作进行深度优化，实现整图下发能力，通过算子setup（workspace、tiling）、下发、计算实现流水线并行，有效隐藏了算子调度开销。同时支持W8A8 SmoothQuant量化、W4A16 AWQ量化技术，显著较少了计算量与访存密度。
• 框架优化：调度方面实现了Prefill/Decode分离技术，在部分场景下有效提高推理速度，通过KV cache、Prefix cache等缓存技术减少重复计算。

#Input_1青海省西宁市城北区三其村。可以发圆通吗 谢谢。
#Output-NPU（国产NPU）青海省_1,西宁市_3A,城北区_3A,三其村_4B, _5A-1,可以发圆通吗 谢谢_UNK,
#Output-GPU（GPU）青海省_1,西宁市_3A,城北区_3A,三其村_4B, _5A-1,可以发圆通吗 谢谢 _UNK

#Input_1上架宝贝数怎么看？#Output-国产NPU{...'tool_name':' business_expert, 'query':'如何查看已上架的商品数量？'...}#Output-GPU{...'tool_name':' business_expert, 'query':'如何查看已上架的商品数量？'...}
#Input_2为啥我不能提报活动了？#Output-国产NPU{...'tool_name':' business_expert, 'query':'为什么商家不能提报活动，以及如何解决提报问题？'...}#Output-GPU{...'tool_name':' business_expert, 'query':'商家无法提报活动的可能原因及解决方案是什么？'...}