本地大型語言模型所需的記憶體：你需要多少 RAM？（以及何時速度至關重要）

在自己的硬體上運行大型語言模型，是當前運用人工智慧最實用的做法之一。無論您是正在嘗試程式設計助手、建置私人聊天機器人，還是單純對開源模型的功能感到好奇，都會立刻浮現一個問題：我實際上需要多少記憶體？

答案取決於您想執行哪種模型、計畫如何執行，以及您更重視的是能否成功擬合模型，還是能獲得快速且反應靈敏的輸出結果。記憶體容量是您踏入這扇門的門檻；而記憶體速度則決定了您一旦進入後，使用體驗的流暢程度。

當您在本地執行大型語言模型時，在生成文字的過程中，整個模型必須駐留於記憶體中。這與遊戲或影片編輯不同——後者會根據需要將資料流進或流出記憶體——大型語言模型的推論過程會載入完整的模型權重，並讓其持續駐留於記憶體中。模型生成的每個標記，都必須經過這些權重進行處理。

這使得記憶體容量成為關鍵瓶頸。如果 RAM 或 VRAM 不足以容納該模型，要麼根本無法執行，要麼模型的一部分會溢出至速度較慢的儲存裝置，導致效能大幅下降。在某些情況下，速度甚至會慢上 5 到 30 倍。

但容量僅是問題的一半。一旦模型能完整載入記憶體，系統將這些權重傳送至處理器的速度，便成為決定標記輸出速度的主要限制因素。這就是所謂的記憶體頻寬，也正是為什麼對於本地人工智慧而言，RAM 的速度與配置比幾乎所有其他桌面工作負載都更為重要。

如果你擁有一張具備足夠 VRAM 的獨立顯示卡，這便是最快的途徑。顯示卡記憶體（VRAM）的頻寬遠高於系統記憶體，像 RTX 4090 或 RTX 5090 這樣的現代顯示卡，其記憶體頻寬可超過 1 TB/s；相較之下，即使是高速的 DDR5 系統記憶體，在典型的雙通道桌上型電腦配置中，頻寬上限也僅約 90 GB/s。

正是由於這種頻寬差距，一個能完全載入 VRAM 的模型每秒可產生 40 個或更多的標記，而同樣的模型若從系統 RAM 執行，即使在高速 CPU 環境下，每秒也僅能產生 8 至 15 個標記。兩者皆可實際應用，但反應速度的差異顯而易見。

問題在於，消費級 GPU 的 VRAM 容量上限為 24 GB（例如 RTX 4090 和 RTX 5090 等顯示卡），這使得您在保持良好品質的情況下，僅能處理約 140 億參數的模型；若採用激進的量化技術，則最多可處理約 320 億參數的模型。 若想運行參數規模更大的模型（700 億參數及以上），您可能需要仰賴系統記憶體、使用多張 GPU，或是透過部分卸載來接受某些效能上的取捨。

接下來就進入具體的討論了。模型所需的記憶體容量取決於其參數數量，以及您執行模型時所採用的精度（量化等級）。一個大致的經驗法則：在 Q4 量化（4 位元）下，每十億個參數約需 0.5 至 0.6 GB 記憶體，此外還需加上上下文和作業系統的開銷。

若系統總記憶體（或視訊記憶體）達 8 GB，您便能輕鬆運行參數範圍在 1B 至 7B 之間、採用 4 位元量化的小型模型。這包括 Llama 3.2 3B、Phi-4 Mini、Qwen 3 4B 以及 Mistral 7B（Q4 設定）等模型。 這些模型在摘要生成、簡單程式碼生成以及對話式問答等任務上，表現出令人驚訝的強大能力。

在性能不錯的 GPU 上，每秒約可處理 40 至 50 個令牌；若使用 CPU，則每秒約可處理 15 至 20 個令牌。這對於聊天式的互動來說，完全足夠使用。

16 GB 為更高量化級別（Q8 可獲得更佳品質）的 7B 和 8B 模型，以及 Q4 量化級別的 13B 至 14B 模型開啟了大門。這正是 Llama 3.1 8B、Qwen 3 8B 和 DeepSeek-R1-Distill 14B 等模型得以實際應用的關鍵。 此外，您還擁有足夠的餘裕，可在運行模型的同時執行作業系統和其他應用程式，而不會導致系統全面癱瘓。

對於大多數嘗試本地人工智慧的用戶來說，16 GB 的 DDR5 記憶體是切實可行的起點。使用最流行的開源模型時，您將能獲得良好的效果，且不會總覺得受記憶體限制。

32 GB 的容量，足以讓您輕鬆運行 32B 參數的模型，並在進行深度量化（Q2 或 Q3）的情況下運行 70B 模型。 例如 Qwen 3 32B、DeepSeek-R1-Distill 32B 以及 Gemma 3 27B 等模型便非常適合此範圍。相較於其較小規模的同類模型，這些模型在推理能力、輸出連貫性長度，以及處理複雜任務的表現上，都有著顯著的提升。

若您正在使用本地大型語言模型（LLM）進行開發工作、寫作輔助，或是任何重視輸出品質的任務，32 GB 才是讓使用體驗真正變得流暢的起點。例如 CORSAIR VENGEANCE DDR5 64GB（2x32GB）套裝，其頻寬達 6000MT/s，能提供充足的容量與頻寬，讓您無須妥協地處理這些工作負載。

若要在合理的量化等級（Q4 或 Q5）下運行 70B 參數的模型，您將需要 64 GB 的系統記憶體，且最好配備多張 GPU 的配置，或是支援部分 GPU 卸載的系統。以 Q4 量化等級運行的 Llama 3.3 70B 模型，僅模型權重就需佔用約 42 GB 空間，這還未計入上下文視窗及作業系統的開銷。

在此層級，記憶體頻寬變得更加關鍵。每次生成標記都需要處理數十吉字節的權重資料，而更快的 RAM 直接意味著更快的輸出速度。這雖是工作站級的配置，但對於希望在使用前沿級開放式模型時，仍將敏感資料保留在裝置上的專業人士而言，此類配置已日益普遍。

有件事讓許多人感到意外：對於本地 LLM 推論而言，記憶體頻寬往往比原始運算能力更為重要。在產生第一個標記（此過程受運算能力限制）之後，每個後續標記都受記憶體頻寬限制。模型需要針對每個標記，將其完整的權重集串流傳送至處理器，而該串流的速度取決於您的記憶體頻寬。

實際測試結果清楚地顯示了這項差異。測試顯示，對於在 CPU 上運行的 Mistral 7B 和 Llama 3.1 8B 等模型而言，記憶體從 DDR5-4800 升級至 DDR5-6000 後，標記生成速度可提升 20% 至 23%。這在響應速度上帶來了顯著且明顯的改善，而這完全歸功於更快的記憶體。

雙通道配置同樣至關重要。相較於僅使用單條記憶體模組，以雙通道模式運行兩條記憶體模組，可有效將可用頻寬提升一倍。實際上，這意味著推論速度可提升 30% 至 50%。若您正在組建或升級用於本地 AI 的系統，請務必採用兩條記憶體模組以雙通道模式運作，切勿僅使用單條 DIMM。

量化是一項使局部大型語言模型（LLM）能在消費級硬體上實際運行的技術。它將模型權重從原始的 16 位元浮點數（FP16）壓縮為更小的表示形式，通常為 4 位元（Q4）、5 位元（Q5）或 8 位元（Q8）。其權衡在於：雖然輸出品質會略微下降，但能大幅降低記憶體需求。

在 Q4_K_M 量化設定下（這是本地使用最常見的格式），一個 8B 模型的記憶體佔用量會從約 16 GB 降至大約 5 至 6 GB；而一個 70B 模型則會從 140 GB 降至約 40 至 42 GB。這意味著記憶體佔用量減少了 75%，而在大多數實際應用情境中，品質上的差異幾乎難以察覺。

Q5_K_M 的畫質略為優異，但記憶體消耗約增加 15% 至 20%；若您的系統具備足夠的記憶體餘裕，值得考慮選用此選項。Q8 幾乎完整保留了原始模型的畫質，但僅將記憶體需求減半；當您擁有充足的記憶體且希望獲得最佳輸出效果時，這是首選方案。

像 Ollama 和 LM Studio 這樣的工具能原生處理量化模型，因此您無需自行進行任何轉換。只需選擇符合您可用記憶體的量化等級即可。

每個上下文片段（您傳送給模型的文字加上模型生成的文字）都需要在模型權重本身之外額外佔用記憶體。短篇對話尚無大礙，但若輸入長篇文件或維持冗長的對話紀錄，上下文記憶體的佔用量便會迅速累積。

作為一個粗略的參考，每 100 億個參數約會增加 8K 個上下文代號，相當於增加約 1 GB 的記憶體。若將上下文代號數量提升至 32K，則會額外增加 4 GB。部分較新的模型支援 128K 個或更多的上下文代號，這將使總記憶體需求有效增加一倍。

如果您計畫定期使用長上下文（例如，將整個程式碼庫或冗長的文件餵入模型），請預留比模型權重本身所需更多的記憶體。這也是為何對於嚴肅的本地 AI 應用而言，32 GB 或 64 GB 的配置相當合理的另一個原因。

以下是目前最常使用的部分本地模型的快速參考，列出了在 Q4_K_M 量化下所需的近似記憶體用量：

• Phi-4 Mini (3.8B)：約 2.3 GB，幾乎能在任何裝置上流暢運行
• Qwen 3.5 4B：約 3.4 GB，非常適合執行輕量級任務，且具備強大的推理能力
• Llama 3.2 8B：約 5 GB，可靠且適用於各種用途的小型模型
• Qwen 3 8B：約 5 GB，具備強大的多語言處理與推理能力
• Qwen 3.5 9B：約 6.6 GB，具備強化功能的最新小型模型
• DeepSeek-R1-Distill 14B：約 9 GB，體積小巧卻具備卓越的推理能力
• Gemma 3 12B：約 8 GB，Google 推出的高效能中型選項
• Llama 4 Scout（109B MoE，17B 活躍）：採用激進量化時約 10 GB，這是 Meta 的最新模型，得益於 MoE 架構，運行表現出乎意料地良好
• Qwen 3.5 27B：約 17 GB，性能全面且強勁，可容納於 24 GB VRAM 中
• Qwen 3 32B：約 20 GB，性能強勁，可容納於 24 GB VRAM 中
• Qwen 3.5 35B-A3B (MoE)：約 24 GB，總共 35B，但每個令牌僅需 3B 處於活躍狀態，效率極高
• Llama 3.3 70B：約 42 GB，品質接近前沿水準，需大量記憶體
• DeepSeek-R1-Distill 70B：約 42 GB，具備頂級推理能力，適合本地使用
• GPT-OSS 120B：約 63 GB，OpenAI 的開放權重模型，需 64 GB 以上的統一記憶體或系統記憶體
• Qwen 3.5 122B-A10B (MoE)：約 81 GB，僅有 10B 個活躍參數，卻具備旗艦級水準

這些數值僅適用於 Q4_K_M 量化下的模型權重。請另加 2 至 8 GB 記憶體，以因應上下文、作業系統開銷，以及您同時執行的其他應用程式。像 Llama 4 Scout 和 Qwen 3.5 35B-A3B 這樣的 MoE（專家混合）模型，在推論階段的記憶體效率特別高，因為每個字元僅會啟用其總參數中的一小部分。

綜合上述所有內容，以下是關於本地大型語言模型（LLM）記憶體配置的思考方式：

如果您的平台支援 DDR5，建議選擇 DDR5。相較於 DDR4，其頻寬優勢確實存在，且會直接影響推論速度。DDR5-6000 或更快的規格，在價格、相容性與效能方面，正是 AI 工作負載的理想選擇。

請務必採用雙通道模式。在大型語言模型（LLM）推論方面，兩條記憶體模組的表現將遠勝於單條總容量相同的記憶體模組。以每秒處理的標記數而言，一套 2x16GB 記憶體套件的表現遠勝於單條 32GB 記憶體模組。

根據您打算運行的模型規模來決定。如果您主要在測試 7B 至 8B 的模型，16 GB 便已足夠。若您想運行 14B 至 32B 的模型，或為未來的模型預留擴充空間，32 GB 會是較佳的選擇。若您已將 70B 的模型納入考量，則應規劃 64 GB。

若要打造一套既能流暢處理當前本地 AI 模型，又預留了擴充空間的系統，像 CORSAIR VENGEANCE DDR5 64GB（2x32GB）這款時脈達 6000MT/s 或 6400MT/s 的記憶體套件，可說是無可匹敵的選擇。 它不僅具備支援大型模型所需的容量，擁有實現快速推論所需的頻寬，更透過雙通道配置確保整體運作高效順暢。若您正在組建以小型模型為主的更緊湊系統，一套 32GB（2x16GB）DDR5-6000 記憶體套件將是既穩健又具成本效益的起點。

如果您真心想在本地運行大型模型，卻又不希望組裝一台多 GPU 塔式電腦，CORSAIR AI WORKSTATION 300 則提供了一種不同的解決方案。 它以 AMD 的 Ryzen AI MAX+ 395 處理器為核心，搭載 Radeon 8060S 整合式 GPU，可從系統的 128 GB LPDDR5X-8000 記憶體中調用多達 96 GB 的 VRAM。 正是這項容量優勢，使其在本地 AI 應用中備受矚目：目前單張消費級獨立顯示卡的 VRAM 容量上限僅為 32 GB，因此若要載入 GPT-OSS 120B（在 MXFP4 模式下約佔用 63 GB）這類模型，若不將模型拆分至多張顯示卡或卸載至系統記憶體，單憑一張顯示卡是無法實現的。

統一記憶體架構是關鍵的權衡點。 您將犧牲專用 GDDR7 視訊記憶體的原始頻寬，但換來的是最高可達 96 GB、且以 LPDDR5X 速度運作、可由 GPU 直接存取的記憶體。這意味著參數範圍在 70B 至 120B 之間的模型——若採用傳統方式，原本需要多張獨立 GPU 或大量 CPU 卸載處理——現在能在單一機器上完全透過 GPU 記憶體路徑運行，無需將層分拆至不同顯示卡，也無需透過 PCIe 進行權重分頁。

該系統還搭載了 AMD 的 XDNA 2 NPU，具備 50 TOPS 的人工智慧加速能力，適用於較輕量的任務，並配備 2.5 Gbps 以太網路、Wi-Fi 6E 以及多個 USB 4.0 連接埠。對於處理敏感資料的專業人士（例如法律、醫療、金融領域），能夠在完全離線且於本地環境中擁有此等級的人工智慧能力，是一項重大的實務優勢。

正確安裝並設定本地 AI 工具，往往是整個使用過程中最令人沮喪的環節之一，例如依賴項衝突、驅動程式版本問題，以及框架相容性等。CORSAIR AI 軟體套件是一款引導式設定工具，旨在消除這些障礙。它能協助您為系統選擇並安裝合適的工具，從 AI 和機器學習框架到開發環境及創意軟體，所有內容皆針對您的硬體量身打造。