结论：deepseek 打破了两个固有思维:
1.NVLink之前被吹的神乎其神，Deepseek实践证明NVLink不是必须的dpu完全可以替代
2.cuda被认为是英伟达护城河，可以加速训练，deepseek实践证明cuda也不是必须的，PTX（Parallel Thread Execution）汇编直接操作硬件指令集效率更高，类似于dsp+软核方案，类似的方案，华为、寒武纪都有。
DeepSeek绕过了CUDA，使用更底层的编程语言做优化。这种操作是用英伟达的PTX（Parallel Thread Execution）语言实现的，而不是CUDA。deepseek V3的硬件效率之所以能比Meta等高出10倍，可以总结为“他们从头开始重建了一切”。
所有的国产芯都有类似pxt的技术，其实就是连接硬件语言的中间语言，也就是说能在英伟达上实现deepseek训练，就可以在寒武纪和升腾上实现deepseek训练。
0、PTX、LLVM 和 CUDA 基本概念
PTX、LLVM 和 CUDA 在并行计算和编程领域都有各自的特点和作用。
基本概念
- PTX（Parallel Thread Execution）
它是 NVIDIA 设计的一种中间语言，作为 GPU 程序的一种抽象表示。PTX 代码独立于具体的 NVIDIA GPU 硬件架构，提供了一个介于高级编程语言和底层 GPU 机器码之间的层次，可在不同代的 NVIDIA GPU 上进行编译执行。 - LLVM（Low Level Virtual Machine）
是一个模块化和可重用的编译器基础设施项目，由一系列工具和库组成。它包含前端（如 Clang，用于处理 C、C++ 等语言）、中间表示（LLVM IR）和后端（可生成多种目标平台的机器码），为开发编译器、静态分析器等提供支持。 - CUDA（Compute Unified Device Architecture）
是 NVIDIA 推出的一种并行计算平台和编程模型，允许开发者使用类似 C、C++ 的语言在 NVIDIA GPU 上进行通用计算。CUDA 提供了一系列的 API 和工具，使得开发者可以方便地将计算任务分配到 GPU 的多个线程上并行执行。
功能用途
- PTX
主要用于在 NVIDIA GPU 上实现并行计算，通过编写 PTX 代码，开发者可以更接近底层地控制 GPU 的执行。它可以作为一种中间表示，方便在不同的 NVIDIA GPU 架构之间进行移植。 例如，开发者可以编写一次 PTX 代码，然后在不同型号的 NVIDIA GPU 上进行编译和执行。 - LLVM
功能较为通用，不仅可以用于 GPU 编程，还可以用于编译各种高级编程语言，生成不同平台（包括 CPU、GPU、FPGA 等）的机器码。 提供了丰富的优化器和工具链，可对代码进行各种优化操作，如常量折叠、死代码消除等，以提高代码性能。 - CUDA
专注于 NVIDIA GPU 的并行计算，为开发者提供了简单易用的编程接口，使他们可以使用熟悉的编程语言（如 C、C++）来编写 GPU 程序。 提供了一系列的库和工具，如 CUDA Math Library（CUDAMath）、CUDA Deep Neural Network library（cuDNN）等，可加速深度学习、科学计算等领域的应用。
编程难度
- PTX
编程难度相对较高，因为它更接近底层硬件，开发者需要对 GPU 的架构和并行计算原理有较深入的了解。编写 PTX 代码需要手动管理线程、内存等资源，并且要考虑不同 GPU 架构的差异。 - LLVM
对于普通开发者来说，直接使用 LLVM 进行编程也有一定难度，因为它涉及到编译器的底层原理和中间表示。但 LLVM 提供了一些高级前端（如 Clang），使得开发者可以使用熟悉的高级语言进行编程，降低了编程难度。 - CUDA
编程难度相对较低，尤其是对于有 C、C++ 编程基础的开发者。CUDA 提供了简单的语法和 API，使得开发者可以方便地将计算任务分配到 GPU 上执行，而无需过多关注底层硬件细节。
适用场景
- PTX
适用于对 GPU 性能有极高要求，需要精确控制 GPU 执行的场景。例如，在开发高性能计算库、定制化的 GPU 算法等方面，PTX 可以提供更细粒度的控制。 - LLVM
适用于需要开发跨平台编译器、进行代码优化和静态分析的场景。由于 LLVM 的通用性，它可以支持多种编程语言和目标平台，在编译器开发、代码转换等领域有广泛应用。 - CUDA
适用于快速开发 NVIDIA GPU 上的并行计算应用，特别是在深度学习、科学计算、图形处理等领域。CUDA 提供的丰富库和工具可以帮助开发者快速实现高性能的并行计算。
一、从CUDA到PTX：打破英伟达的“技术护城河”
DeepSeek-V3的横空出世，不仅以6710亿参数的MoE架构和557万美元的超低成本震撼行业，更通过底层技术优化，动摇了英伟达CUDA生态的统治地位。
不用CUDA生态。其核心突破在于直接采用英伟达的底层指令集PTX（Parallel Thread Execution）进行编程优化，而非依赖CUDA高级接口。这种操作相当于“跳过中间商”，在接近汇编语言的层级实现细粒度控制，例如寄存器分配、线程束（Warp）调度，甚至将H800 GPU的132个流式多处理器（SMs）中的20个专门用于服务器间通信优化，从而绕过硬件通信瓶颈，实现10倍于Meta等巨头的训练效率。
这一策略颠覆了行业对CUDA的依赖惯性。CUDA虽简化了开发流程，但其高级抽象层牺牲了部分性能潜力。DeepSeek的实践表明，**通过极致的底层优化，完全可以在不依赖CUDA的情况下释放GPU算力**，同时证明英伟达的硬件设计并非“铁板一块”，其技术护城河存在可突破的缺口。
二、技术细节：从架构到硬件的全栈重构
1. 硬件效率的极致榨取
DeepSeek团队对H800 GPU的改造堪称“外科手术级”：通过PTX语言重新分配计算资源，将部分SM单元用于通信任务，优化流水线并行算法（如DualPipe算法），减少流水线停滞和通信开销。这种“从头重建一切”的硬核优化，使得训练框架的计算与通信高度重叠，显著降低了传统依赖NVLink等专用互联技术的必要性。
2. 混合精度与负载均衡创新
模型采用FP8混合精度训练技术，结合细粒度量化和内存优化，将训练速度提升至每1T Token仅需18万GPU小时。同时，其独创的**无辅助损失负载均衡策略**，在MoE架构中动态调整专家分配，避免了传统辅助损失对模型性能的干扰，进一步降低训练成本。
三、25国产AI芯片启示
DeepSeek的技术路径为国产芯片提供了关键启示：
1. 通用中间语言的可行性
PTX的本质是连接硬件与软件的中间语言，而国产芯片（如华为昇腾、寒武纪）同样具备类似的指令集架构。DeepSeek的实践证明，**只要掌握底层优化能力，同一套算法可跨平台迁移。例如，团队已与AMD、华为合作，快速适配其硬件生态。
2. 打破NVLink与CUDA神话
NVLink并非必需：通过算法优化通信效率，DeepSeek在非NVLink集群上实现了高性能训练，为国产芯片的互联设计提供了新思路。
CUDA替代方案：开源社区已出现基于PTX的自研工具链，未来若DeepSeek进一步开放优化框架，国产芯片厂商可快速构建自主生态。
3. 分布式训练
DeepSeek-V3 在训练、架构设计和应用部署中全面采用了分布式技术。其 MoE架构、分布式训练集群和开源部署支持使其成为典型的分布式 AI系统。这不仅提升了模型性能和经济性，也为未来分布式Al的发展提供了重要参考
低成本分布式是deepseek 重要的手段，采用5090+deepseek训推方案将成为25年主流，特别是多模态大模型方面。
