CUDA，英文全称：Compute Unified Device Architecture，直译过来就叫：统一设备计算架构，它是英伟达开发的一种 并行计算平台 和 编程模型，简单理解其实就是一种开发框架，用更通俗一点的话来说：
CUDA 就是一套让程序员能“指挥”NVIDIA 显卡（GPU）来做大量计算工作的工具。
为什么需要 CUDA？
传统的 CPU 擅长处理复杂的逻辑任务，但核心数量少；而 GPU 原本是用来画图的，但它有成千上万个小型计算单元，特别适合 同时做大量简单重复的计算 ——比如矩阵乘法、向量加法等。
正好现在的大模型的核心运算就是海量的矩阵运算。如果只用 CPU，速度会非常慢；但如果用 GPU 并行计算，效率可以提升几十甚至上百倍。
CUDA 在其中的作用就是：让开发者能方便地把这类计算任务“搬”到 GPU 上去跑。
CUDA的几个核心特性
加速计算 推理时，模型要对输入进行一系列矩阵运算（比如注意力机制、全连接层）。这些操作在 GPU 上通过 CUDA 加速后，速度极快。他可以利用数千个 CUDA Core 同时执行大规模矩阵乘法、向量运算等线性代数计算，从而实现前向传播中的注意力矩阵、全连接层等可以在毫秒级完成。
高效利用显存 CUDA 提供了对 GPU 显存的精细控制，能让大模型的数据 权重、中间激活值 等高效加载到显存中，避免频繁与内存交换，拖慢速度。
支持深度学习框架 像 PyTorch、TensorFlow 、DeepSpeed 这些主流框架底层都依赖 CUDA 来调用 GPU。开发者只需在代码中打开 CUDA 选项，即可自动利用 GPU 完成推理，无需手写底层驱动代码。
比如你编写的 model.to('cuda')，其实就是在用 CUDA 把模型移到 GPU 上运行。
优化推理性能 NVIDIA 还基于 CUDA 开发了专门优化大模型推理的工具，比如 TensorRT、FasterTransformer，它们进一步压缩模型、融合算子、利用硬件特性，让推理更快更省资源。包括对 FP16/ BF16、INT8 等低精度格式也进行专门硬件加速，提升算子吞吐量。
打个比方
CPU 像是一个聪明的教授，一次只能解一道难题；
GPU 像是一万个小学生，每人只会做简单的加减乘除，但一起干就能快速完成海量简单题；
CUDA 就是那个发作业本、分配题目、收答案的“老师”，让这一万个小学生高效协作。
大模型推理其实就是“出海量简单题”，因此 GPU + CUDA 是绝配。
补充说明
目前只有 NVIDIA 的 GPU 才支持 CUDA，AMD 有自己的 ROCm，但生态小很多。
如果没有 CUDA，大模型也能跑，但速度可能慢到无法实用，比如回答一个问题要几分钟。
因此总体来看，CUDA 是让 NVIDIA 显卡发挥强大并行计算能力的关键技术，在大模型推理中负责把繁重的数学运算分配给GPU高速完成，是实现“秒级响应”的幕后功臣。
