最適合本地 AI 的電腦組裝方案（入門／中階／發燒友級）

組裝用於本地人工智慧的電腦，與組裝遊戲用電腦大不相同。視訊記憶體（VRAM）和記憶體頻寬比時脈速度更為重要；記憶體容量比 RGB 燈效更為關鍵；而儲存裝置則必須能容納每個體積可能達數十 GB 的模型。以下將說明在三個預算層級中，哪些因素真正會產生影響，以及在每個層級下實際能運行哪些應用。

在選購元件之前，了解當地的人工智慧推論實際上對硬體有哪些要求，會有所幫助：

• GPU 視訊記憶體（VRAM）：這是最重要的單一因素。VRAM 容量越大，就能在 GPU 上完整執行規模越大的模型，而這正是能獲得最佳運算速度的關鍵。
• 系統記憶體：若模型無法完全容納於視訊記憶體中，多餘的部分便會溢出至系統記憶體。記憶體容量越大，您就能運行更大的模型，只是執行速度會較慢。
• 記憶體頻寬：資料在記憶體與處理器之間傳輸的速度，會直接影響代幣的生成速度。GPU 的記憶體頻寬通常比系統 RAM 快 10 至 20 倍。
• 儲存空間：每個模型的大小可能介於 4 至 50+ GB 之間。您需要高速儲存裝置（NVMe SSD），以免載入模型耗時過久。
• CPU：對於推論而言，其重要性不如你想像中那麼高，但一台性能穩健的現代 CPU 能確保一切運作順暢，並能妥善處理僅依賴 CPU 的備用方案。

這篇文章是為那些希望嘗試本地 AI，卻不想重新建置整個系統的人而寫。您正在運行參數規模介於 30 億至 70 億之間的小型模型，並希望這些模型能夠真正運作，而不至於不斷當機或進行記憶體交換。

• GPU：8GB 視訊記憶體（例如 RTX 5060 或同級產品）
• 記憶體：16–32GB DDR4/DDR5
• 儲存空間：500GB–1TB NVMe SSD
• CPU：現代 6 核心或更高規格（例如：Intel Core Ultra 5 235、AMD Ryzen 5 9600X）
• 電源供應器：550–650W，80+ 銅級或更高

量化後的 7B 模型（例如 Llama 3 8B Q4）能輕鬆容納於 8GB VRAM 中，並以可用的速度生成標記。您可以進行聊天、摘要文件，以及執行基本的程式碼輔助。較小的 3B 模型則會讓人感覺反應靈敏。

一旦超過 7B，您就會遇到效能瓶頸——模型會將部分運算卸載至 CPU／RAM，導致速度明顯變慢。但若只是為了入門並學習相關工具（如 LM Studio、Ollama），這個等級的資源已相當可靠。

這正是本地 AI 開始在實際工作中展現真正實用價值之處。您可以完全在 GPU 上運行 130 億參數的模型，處理更長的上下文視窗，並進行多工處理，而不會導致系統全面停滯。

• GPU：12–16GB 視訊記憶體（例如 RTX 5070 Ti 或同級產品）
• 記憶體：32–64GB DDR5
• 儲存空間：1–2TB NVMe SSD
• CPU：現代 8 核心或更高規格（例如：Intel Core Ultra 7 265K、AMD Ryzen 7 9700X）
• 電源供應器：750W 80+ 金牌

Quantized 13B 模型完全在 VRAM 中運行，且仍有充裕空間。相較於 7B 模型，您將獲得明顯更佳的輸出品質、更連貫的回應、更出色的推理能力，以及更可靠的指令遵循能力。

透過部分卸載（部分層在 GPU 上執行，其餘在 RAM 中），70B 模型便能實現，儘管速度會較慢。若您想嘗試較大的模型，選擇 64GB RAM 方案在此情況下是值得的。

此層級可處理大多數實用的本地 AI 任務：寫作輔助、程式設計、文件分析，以及並行執行多個較小的模型。

本產品專為希望快速執行現有最大型開放式模型，並能容納大型上下文視窗與複雜工作流程的使用者而設計。想像一下，700 億以上參數的模型能流暢運行，或是同時載入多個模型。

• GPU：24GB+ 視訊記憶體（例如：RTX 3090、RTX 4090、RTX 5090），或若您的工具支援，則可使用雙 GPU
• 記憶體：64–128GB DDR5
• 儲存空間：2–4TB NVMe SSD（建議為模型專用配置一顆獨立硬碟）
• CPU：現代 16–24 核心處理器（例如 Intel Core Ultra 9 285K、AMD Ryzen 9 9950X3D）
• 電源供應器：1000W+，80+ 金牌或白金級

視量化層級而定，量化後的 70B 模型可完全（或幾乎完全）容納於 24GB 的 VRAM 中。這正是您能獲得媲美雲端 API 輸出品質的關鍵所在——13B 與 70B 模型之間的差異相當顯著。

憑藉 128GB 系統記憶體作為後備，即使是最龐大的開放式模型，也能透過部分卸載來進行存取。而高速的 NVMe 儲存裝置，則讓模型的載入與切換僅需數秒，而非數分鐘。

在這個層級，您不僅是在本地執行 AI，而且執行得相當出色，甚至可能完全不再需要仰賴雲端 API。

有幾件事的重要性比人們預期的還要高：

冷卻：

• 在持續進行人工智慧推論作業時，GPU 會產生大量熱量。配備強勁氣流的機箱能帶來顯著差異，詳情請見下文
• 就 CPU 而言，一款優質的 CPU 散熱器能確保系統運作穩定，例如CORSAIR iCUE LINK TITAN RX RGB 360mm這樣的產品，便能應對持續的高負載運作。

電源：

• 一款可靠且具備充足餘量的電源供應器，能避免在高負載推論運算時發生系統當機。這方面千萬別為了省錢而妥協。對於大多數組機方案而言，CORSAIR RMx RM1000x是一款出色的全能型電源供應器；若您組裝的是耗電量極高的發燒級系統，則HX1500i才是最佳選擇。

機箱氣流：

• 您的系統將在較長的時間內處於高負載狀態，因此良好的氣流對於延長使用壽命至關重要。CORSAIR FRAME 4000D能在中塔式機箱中提供穩定的氣流；若您需要安裝更大尺寸的散熱器及更多儲存空間，不妨升級至FRAME 5000D。

儲存速度：

• 從 HDD 與 NVMe SSD 載入 30GB 的模型，所需時間相差約一分鐘與幾秒鐘。若您經常測試不同的模型，高速儲存裝置能節省大量時間。CORSAIR MP700 PRO提供 Gen5 級別的速度，可實現最快的模型載入；而MP600 ELITE則是價格實惠且性能強勁的 Gen4 選擇。

如果您想跳過零件清單，直接開始運行遊戲，CORSAIR VENGEANCE 電競電腦已為您預先組裝並測試完畢所需硬體，並提供兩年保固。雖然這些電腦專為遊戲而設計，但其規格對於本地人工智慧應用也相當合適，尤其是配備大量 VRAM 和 DDR5 記憶體的高階配置。

以下是當前 VENGEANCE 陣容中部分成員與本指南中各等級的對應關係：

相當於起動機：

• 配備 Core i5-14600K 處理器、RTX 5060 顯示卡及 16GB DDR5 記憶體的 VENGEANCE i75000，是款穩健的入門機型。RTX 5060 搭載的 8GB 視訊記憶體足以輕鬆處理 70 億維度的量化模型，若日後想挑戰更大規模的模型，也可隨時升級記憶體。

中等等效值：

• 搭載 Ryzen 7 9800X3D、RTX 5070 Ti 以及 32GB DDR5 的 VENGEANCE a75000，堪稱完美平衡之選。 5070 Ti 配備 16GB 視訊記憶體，足以讓 130 億面元的模型完全在 GPU 上運行。而 9800X3D 則是目前市面上最頂尖的消費級處理器之一，因此其 CPU 備用效能同樣強勁。

相當於發燒友級別：

• 搭載 Ryzen 9 9950X3D、RTX 5090 以及 64GB DDR5 的 VENGEANCE a7500 AIR，是絕不妥協的選擇。 RTX 5090 的 32GB 視訊記憶體足以容納 700 億的量化模型，並預留足夠空間處理上下文資料；而 64GB 的 DDR5 記憶體則為任何超出視訊記憶體容量的資料提供了充裕的備用空間。

每套 VENGEANCE 系統均配備 NVMe 儲存裝置、CORSAIR 液冷系統，並於美國組裝完成。您將獲得一台已完全組裝完成且享有保固的電腦，無需費心推測相容性問題——只需安裝您的跑步應用程式、下載模型，即可開始使用。

若您需要一台專用的 AI 工作站，CORSAIR AI Workstation 300（AI300）正是專為本地 AI 運算從零開始打造的緊湊型專用工作站。

它配備了針對 AI 推論進行優化的高記憶體配置、可因應大型模型需求而擴充的圖形記憶體，以及CORSAIR AI 軟體套件，讓您開箱即用，無需花費整個週末進行設定。