本地人工智慧的 CPU 與 GPU 之比較：究竟是什麼讓它更快？

如果你正在本地執行人工智慧，你可能看過這樣的建議：「買一張好用的 GPU。」但這到底是什麼意思呢？而且，你的 CPU 真的那麼沒用嗎？答案並非單純地「GPU 好，CPU 壞」這麼簡單。關鍵在於每種處理器如何處理人工智慧推論背後的運算，以及哪一種能以足夠快的速度傳輸資料，以跟上運算節奏。

當您執行本機的 LLM 或影像模型時，您的硬體正在反覆執行一項操作：矩陣乘法。模型會接收您的輸入，將其轉換為數字，並讓這些數字經過各層的數十億次數學運算。您的硬體處理這些運算的速度越快，您獲得回應的速度就越快。

這屬於推論，即從已訓練好的模型中產生輸出。你並沒有在訓練任何東西，只是逐個標記地向前執行運算。

CPU 的設計初衷是為了在各方面都表現出色。它負責處理您的作業系統、瀏覽器分頁、檔案系統，而且沒錯，它也能執行 AI 模型。現代 CPU 擁有多個核心（消費級晶片通常為 8 至 24 個），每個核心都具備強大的效能與靈活性。

問題在於：AI 推論需要同時對海量資料執行相同的運算。CPU 雖然能做到這一點，但處理這些運算的方式較為序列化。這就像是讓幾名速度極快的工人來處理一項其實需要數百人同時協作的工作。

話雖如此，CPU 在本地 AI 應用上並非毫無希望。像 llama.cpp 這樣的工具是專為 CPU 推論所優化的，而且如果您的模型能容納在系統記憶體中，絕對可以僅靠 CPU 運行。只是速度有時會明顯變慢，有時則不會，這取決於模型的大小。

GPU 的設計核心在於並行處理。相較於 CPU 通常擁有 8 至 24 個核心，現代 GPU 則具備數千個較小的核心，這些核心能夠同時處理同一道問題的不同部分。這使得 GPU 在執行人工智慧模型所依賴的大規模運算方面表現得格外出色。

此外，GPU 還擁有專屬的記憶體（VRAM），其頻寬遠高於系統記憶體。這項頻寬至關重要，因為它決定了資料能以多快的速度傳送至數千個核心。頻寬越高，等待時間就越短，運算時間也就越長。

就本地大型語言模型（LLM）推論而言，GPU 的優勢主要體現在兩方面：並行處理能力與記憶體頻寬。這兩者都會直接影響輸出結果中每秒能處理的標記數量。

有件事讓大多數人感到意外：對於本地 LLM 推論而言，純粹的運算能力往往並非限制因素，真正的限制因素是記憶體頻寬。

在推論過程中，每產生一個標記，就必須從記憶體中讀取該模型的權重。如果記憶體無法以足夠快的速度將資料傳送至處理器，那麼無論你有多少個核心，它們都只能乾等著。

這就是為什麼 VRAM 頻寬如此重要。典型的 DDR5 系統記憶體配置可能提供 50 至 90 GB/s 的頻寬，而像 RTX 5090 這樣的現代 GPU 則能提供超過 1,000 GB/s 的頻寬。兩者之間的差距足足有一個數量級之多。

如果您的模型能完全容納於 VRAM 中，僅憑這一點，在 GPU 上進行推論的速度幾乎總是比在 CPU 上更快。

GPU 並非總是最佳解。在某些實際情境中，改用 CPU 執行才是正確的選擇：

• 您正在運行一個小型模型（3B 參數或更少），其中速度差異幾乎難以察覺。
• 您的顯示卡不支援此功能，或者您的顯示卡的 VRAM 容量不足以載入此模型。
• 您希望利用系統的全部記憶體（通常遠大於視訊記憶體）來以較慢的速度執行較大的模型。
• 您正在使用的筆記型電腦或系統，其 GPU 的功耗或發熱量是需要考量的問題。

得益於量化技術（透過降低模型精確度來節省記憶體）以及針對此技術進行優化的框架，CPU 推論效能已大幅提升。在配備 32GB 記憶體的現代 CPU 上，一個 70 億參數的量化模型已足以流暢執行許多任務。

如果您的模型過大，超出 VRAM 的容量，但您仍希望使用 GPU 加速，大多數本地 LLM 工具都支援部分卸載。這意味著模型中的某些層會在 GPU 上執行，其餘部分則在 CPU 上執行。

這是一種權衡：雖然能獲得部分 GPU 運算速度的優勢，但受 CPU 限制的層卻會成為瓶頸。能放入 VRAM 中的層數越多，運算速度就越快。而如果最終只有少數幾層被移至 GPU 上，來回傳輸資料所產生的開銷，實際上可能會讓其運算速度比純粹的 CPU 推論還慢。

經驗法則：如果無法將模型至少一半的內容載入至 VRAM 中，那麼最好直接在 CPU 上執行整個模型，這樣反而能省去不必要的複雜性。

目前 NVIDIA 在本地 AI 領域佔據主導地位，這主要歸功於 CUDA。這是 NVIDIA 的專有運算框架，幾乎所有 AI 工具都是基於此框架建構的。若您在 Windows 系統上使用 LM Studio、Ollama 或 llama.cpp，NVIDIA GPU 將能提供最流暢的使用體驗，並將故障排除的麻煩降至最低。

AMD 正逐步迎頭趕上。ROCm（AMD 對抗 CUDA 的解決方案）已取得實質進展，而像 Ollama 這樣的工具也明確支援 Windows 系統上的 AMD Radeon 顯示卡。但其生態系統仍較為有限，且根據您使用的特定顯示卡與工具不同，可能會遇到相容性問題。

若您是專為本地人工智慧而購買，目前 NVIDIA 仍是較為穩妥的選擇。如果您已經擁有 AMD 顯示卡，絕對值得一試，但請先查閱您所使用工具的說明文件，確認其支援的模型。

無論您目前的系統配置是因 VRAM 不足、記憶體頻寬過低，還是一載入 13B 模型便立即過熱而造成效能瓶頸，這正是CORSAIR AI Workstation 300（AI300）專為解決此類問題而設計的。

AI300 是一款針對本地 AI 推論的實際需求所設計的緊湊型工作站：

• 高記憶體配置，可容納更大的模型和更寬廣的上下文視窗。
• 專為人工智慧工作負載（以及少量遊戲）而設計、可隨需求擴展的顯示記憶體。
• 一個硬體層級的效能選項（靜音／平衡／極速），讓您在需要時優先考量速度，不需要時則優先考量靜音。
• CORSAIR AI 軟體套件可簡化設定流程，讓您花更少時間進行設定，而將更多時間投入模型執行。

如果您一直試圖從一個原本並非為人工智慧設計的系統中榨取本地人工智慧效能，AI300 將為您提供一台硬體與軟體皆是專為該工作負載量身打造的機器。