什么是 CUDA 核心？它们是如何工作的？

CUDA 核心是NVIDIA GPU内部的一种微型数学运算单元，负责处理图形和并行计算中的基础运算工作。 每个核心都位于一个称为流式多处理器（SM）的较大模块中，在现代 GeForce “Blackwell” GPU 上，每个 SM 包含128 个 CUDA 核心。这就是为什么你会看到RTX 5090 上显示的总数为 21,760 个 CUDA 核心。该芯片仅仅拥有许多 SM，每个 SM 都装满了这些核心。

CUDA（NVIDIA的并行计算平台）是软件层面的解决方案：它使应用程序和框架能够将渲染、人工智能、仿真等大规模并行任务高效地分发到这些核心上

不妨将GPU想象成一家专为批量处理任务而设计的工厂。CUDA核心通过由32个线程组成的“warp”来处理任务，这些线程对不同的数据执行相同的指令（NVIDIA将这种模型称为SIMT）。正是通过这种方式，GPU才能同时处理数千次运算。每个SM都配备了调度器，这些调度器会保持多个warp同时运行，以此掩盖内存延迟并确保这些核心始终处于忙碌状态。

一个有用的心理意象：

• CUDA 核心= 一个独立的工作进程（执行加法、乘法等算术运算）。
• SM= 一个拥有独立调度器、缓存、专用单元、张量核（Tensor Core）等的计算单元。
• GPU= 整个工厂，其中有许多 SM 并行运行。

• 并非 CPU 核心：CUDA 核心是一种针对吞吐量进行优化的、更简单的算术通道，而非经过延迟调优的大型通用 CPU 核心。GPU 通过让大量这样的小型通道协同工作来实现性能扩展。（CUDA 编程指南中对这种以吞吐量为导向的设计进行了说明。）
• 与专用GPU核心不同：
  • 张量核心（Tensor Cores）是矩阵运算引擎，可大幅提升 AI/ML 以及 DLSS 等功能的性能；
  • RT 核心可加速光线追踪（BVH 遍历、光线/三角形测试）。

这些任务将特定任务卸载出去，以便 CUDA 核心能够专注于着色/计算

通常是这样，但并非仅靠核心数量。架构起着至关重要的作用。例如，与图灵架构相比，英伟达安培架构的每个SM的FP32吞吐量翻了一番，因此不同代产品之间的“单核”性能发生了变化。Ada架构还大幅扩充了缓存（尤其是L2缓存），这在不改变核心数量的情况下提升了许多工作负载的性能。简而言之：比较不同代产品之间的CUDA核心数量并非“同等条件下的比较”。

其他主要影响因素：

• 时钟频率和功耗余量（即核心的运行速度）。
• 内存带宽和缓存大小（为核心提供数据）。
• Tensor/RT 核心的使用（将 AI 和光线追踪任务从 CUDA 核心转移出去）。
• 驱动程序与软件（应用程序通过 CUDA 调用 GPU 的效率如何）。

• 游戏/图形处理：它们在后台运行着着色器程序（顶点、像素、计算着色器）。光线追踪核心负责处理繁重的光线追踪步骤；而CUDA核心则继续处理大量相关的着色和计算任务。
• 内容创作与模拟：物理求解器、降噪器、渲染内核、视频特效等，其中许多都是为了充分利用 CUDA 的并行模型而编写的。
• AI/ML：张量运算由张量核心处理，但大量预处理、后处理以及非矩阵运算仍由CUDA核心执行。

一个实用的经验法则：

• 高帧率 1080p–1440p 游戏：应综合考量整个 GPU（架构、时钟频率、显存、RT/Tensor 特性），而不仅仅是核心数量。基准测试结果比单纯的数字更重要。
• 4K 或高强度光线追踪：您将受益于更多的 SM/CUDA 核心和强大的 RT/Tensor 模块，以及更高的带宽和缓存。
• AI/计算：核心数量固然重要，但张量核心性能、VRAM容量和内存带宽往往是决定吞吐量的关键因素。

如果你想快速验证一下规模是否合理，RTX 5090 标称拥有21,760 个 CUDA 核心，这说明了 NVIDIA 是如何将单个 SM 中的核心数累加到多个 SM 上的。但需要再次强调的是，性能提升源于整体设计，而不仅仅是核心数量本身。

您不需要专用线缆，但需要正确的软件堆栈。CUDA 是 NVIDIA 的平台；应用程序通过驱动程序、工具包和库来调用它。许多流行的应用程序和框架都已预先设计为利用 CUDA 加速功能，只要安装了 NVIDIA 驱动程序以及（如有需要）CUDA 工具包，受支持的应用程序就会……直接使用它

CUDA 可在各产品线中支持 CUDA 的 NVIDIA GPU上运行（包括用于游戏和内容创作的 GeForce/RTX 系列、专业级 RTX 系列以及数据中心 GPU）。编程指南指出，该模型可跨多个 GPU 代和 SKU 进行扩展；NVIDIA 提供了一份支持 CUDA 的 GPU 及其计算能力的列表。