為人工智慧選擇最佳的 DRAM

隨著 AI 工作負載的要求日益嚴苛，選擇合適的 DRAM 配置對於提升效能至關重要。但究竟是速度還是容量更為重要？本文將在遊戲／AI 電腦上對五款不同的 DRAM 套件進行評測，以找出最佳的 DRAM 配置。

將使用 Ollama 工具測試不同的 DRAM 配置，並針對三種大型語言模型（LLMs）測量每秒代幣數及記憶體使用量。

該測試平台由以下部分組成：

• CPU：Intel Core Ultra 9 285K
• GPU：PNY XLR8 RTX 4090 24GB
• 主機板：ASRock Z890 Taichi
• 固態硬碟 (SSD)： CORSAIR MP700 2TB PCIe 5.0 (第 5 代) x4 NVMe M.2 SSD
• DRAM 配置：
  • 2x16GB，6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24GB，8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32GB，6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48GB，7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48GB，5200 MT/s
    CMH192GX5M4B5200C38

我們評估了三種規模各異且記憶體需求不同的 LLM（大型語言模型）：

• Llama 3.2 (3B)– 一款輕量級模型，適用於大多數 AI 個人電腦。
• Llama 3.1 (8B)– 一款兼具速度與容量的中階機型。
• DeepSeek-R1 (70B)– 一款將 DRAM 極限推向新高度的大型模型。

我們使用 Ollama 工具來載入各種模型。Ollama 提供每秒令牌數（tokens/second）作為衡量推論速度的指標。我們追蹤了記憶體使用量，以了解不同的 DRAM 配置在處理各模型時的表現。測試的提示語如下：

• 「DDR5 記憶體相較於 DDR4 記憶體有哪些優勢？」
• 「寫一篇短篇小說，描述在人類與機器共存的世界中發生的 AI 革命。」
• 「請用淺顯易懂的語言解釋神經網路的概念，以及它們是如何進行訓練的。」
• 「請說明強化學習的概念，並舉例說明它與監督式學習有何不同。」

最後，我們進行了《最終幻想 XIV：黎明之路》的效能測試，以評估每種 DRAM 配置的遊戲效能。此測試的目的是找出能在不犧牲效能的前提下，同時處理 AI 任務與遊戲的 DRAM 配置。

從結果中得出幾項重要的觀察。

若僅使用 CPU，32GB 和 48GB 配置均無法容納 DeepSeek-R1 (70B) 模型。即使使用 RTX 4090，當運行 70B 模型時，32GB 的 DRAM 容量也已接近極限。

這款 8400 MT/sCUDIMM套件憑藉更高的速度，在遊戲表現上超越了任何其他 DRAM 配置；但即使搭配 RTX 4090 運行大型 AI 模型，剩餘的可用記憶體也所剩無幾。

• 僅限 AI 工作負載：由於幾乎不可能有人會在沒有 GPU 的情況下執行任何大型語言模型（LLM），因此建議至少選用 64GB DRAM 套件。若要為未來可能使用更大規模的大型語言模型做好準備，96GB DRAM 套件無疑是最佳選擇。
• 遊戲 + AI：8400 MT/s 顯然是此處的勝出者。雖然 64GB DRAM 套件在遊戲表現上落後幅度不大，且由於 RTX 4090 提供了額外的可用系統記憶體，因此這是此處的首選。

對於以人工智慧為主的工作負載而言，DRAM 容量扮演著關鍵角色，特別是在處理大型模型時。然而，對於同時管理遊戲與人工智慧的混合系統來說，速度與延遲的優化同樣重要。隨著大型語言模型（LLMs）持續針對不同硬體進行優化，且系統需求逐漸降低，若能預留額外的記憶體容量，將有助於在系統中運行更大的模型，從而獲得更精確的結果。

基於上述考量，首選的 DRAM 套件為CMH96GX5M2B7000C40。