本地AI中CPU与GPU的对比：究竟是什么让它更快？

如果你在本地运行人工智能，可能已经看到过这样的建议：“买一块好显卡。”但这到底是什么意思呢？而且，你的CPU真的那么没用吗？答案并非像“显卡好，CPU差”这么简单。关键在于每种处理器如何处理人工智能推理背后的数学运算，以及哪一种处理器能以足够快的速度传输数据以跟上运算节奏。

当你运行本地的大型语言模型（LLM）或图像模型时，你的硬件一直在重复执行同一项操作：矩阵乘法。模型会接收你的输入，将其转换为数字，然后让这些数字在各个层中经历数十亿次数学运算。你的硬件处理这些运算的速度越快，你获得响应的速度就越快。

这就是推理，即从经过训练的模型中生成输出。你并没有进行任何训练，只是按令牌逐个地向前执行计算。

CPU的设计初衷是通才型处理器。它负责处理操作系统、浏览器标签页、文件系统，当然，它也能运行人工智能模型。现代CPU拥有多个核心（消费级芯片通常为8至24个），每个核心都性能强劲且灵活多变。

问题在于：AI推理需要对海量数据同时执行相同的运算。CPU虽然也能做到这一点，但它处理这些运算的方式更具顺序性。这就像是让几个速度极快的工人去完成一项实际上需要数百人同时协作才能完成的工作。

话虽如此，CPU在本地AI领域并非毫无用武之地。像lama.cpp这样的工具专门针对CPU推理进行了优化，如果你的模型能装进系统内存，完全可以仅靠CPU运行。只是速度有时会明显变慢，有时则不会，这取决于模型的大小。

GPU的设计理念基于并行处理。CPU通常拥有8至24个核心，而现代GPU则拥有数千个更小的核心，它们能够同时处理同一问题的不同部分。这使得GPU在处理AI模型所依赖的大规模数学运算方面表现尤为出色。

此外，GPU 还拥有自己的专用内存（VRAM），其带宽远高于系统内存。带宽至关重要，它决定了数据能以多快的速度传输到这些数千个核心中。带宽越高，等待时间就越短，计算时间就越长。

就本地大型语言模型（LLM）推理而言，GPU的优势主要体现在两方面：并行处理能力和内存带宽。这两者都会直接影响输出中每秒能处理的令牌数量。

有一点会让大多数人感到惊讶：对于本地大型语言模型（LLM）的推理而言，限制因素往往不是原始计算能力，而是内存带宽。

在推理过程中，每次生成一个令牌时，都需要从内存中读取模型权重。如果内存无法以足够快的速度向处理器提供数据，那么无论你有多少个核心，它们都只能干等着。

这就是为什么VRAM带宽如此重要。典型的DDR5系统内存配置可能提供50–90 GB/s的带宽，而像RTX 5090这样的现代GPU则能提供超过1,000 GB/s的带宽。两者之间的差距足足有一个数量级。

如果您的模型完全能装入显存（VRAM）中，仅凭这一点，在 GPU 上进行推理的速度就几乎总是比在 CPU 上更快。

GPU 并不总是最佳选择。在某些实际场景中，在 CPU 上运行才是明智之举：

• 你正在运行一个小型模型（3B参数或更少），其中速度差异几乎难以察觉。
• 您的显卡不兼容，或者显卡的显存不足以加载该模型。
• 你想利用系统全部内存（通常远大于显存）来运行一个更大的模型，但运行速度会变慢。
• 您正在使用的笔记本电脑或系统中，GPU的功耗或发热问题值得关注。

得益于量化技术（通过降低模型精度来减少内存占用）以及针对该技术优化的框架，CPU推理性能已显著提升。在配备32GB内存的现代CPU上，一个70亿参数的量化模型足以流畅运行许多任务。

如果您的模型体积过大，超出了显存容量，但您仍希望使用 GPU 加速，大多数本地 LLM 工具都支持部分卸载。这意味着模型的某些层在 GPU 上运行，其余部分则在 CPU 上运行。

这是一种权衡：虽然能获得部分GPU速度优势，但受CPU性能限制的层会成为瓶颈。VRAM中能容纳的层越多，速度就越快。而如果最终只有少数几层被移至GPU上，数据来回传输带来的开销甚至可能导致其运行速度比纯CPU推理还要慢。

经验法则是：如果模型至少有一半无法装入显存，那么最好直接在CPU上运行，这样可以省去不必要的复杂性。

目前，NVIDIA 在本地 AI 领域占据主导地位，这主要得益于 CUDA。这是其专有的计算框架，几乎所有 AI 工具都是基于它构建的。如果你在 Windows 系统上使用 LM Studio、Ollama 或 llama.cpp，NVIDIA GPU 将为你提供最流畅的体验，同时遇到的问题也最少。

AMD正在迎头赶上。ROCm（AMD对CUDA的回应）已取得实质性进展，而Ollama等工具在Windows系统上已明确支持AMD Radeon显卡。但其生态系统仍相对有限，根据您使用的具体显卡和工具的不同，可能会遇到兼容性问题。

如果你是专门为了本地AI而购买，目前选择英伟达（NVIDIA）更为稳妥。如果你已经拥有AMD显卡，那绝对值得一试，不过请先查看你所用工具的文档，确认支持哪些模型。

如果您的当前配置正面临性能瓶颈——无论是显存不足、内存带宽过低，还是系统在加载13B模型的瞬间就过热——那么CORSAIR AI Workstation 300（AI300）正是为解决此类问题而设计的。

AI300 是一款专为本地 AI 推理的实际需求而设计的紧凑型工作站：

• 高内存配置，可容纳更大的模型和更宽的上下文窗口。
• 专为人工智能工作负载（以及少量游戏）而设计的可扩展图形内存。
• 一个硬件级性能选择器（静音/平衡/最大），让您在需要时优先考虑速度，不需要时则优先考虑静音。
• CORSAIR AI 软件套件可简化设置流程，让您减少配置时间，将更多时间用于运行模型。

如果您一直试图在原本并非为此设计的系统中勉强运行本地人工智能，那么AI300将为您提供一台硬件和软件均专为该工作负载量身打造的机器。