64GB DDR5-6000 C40 是否将成为人工智能和游戏领域的新“黄金配置”？

正如去年所述，针对游戏和人工智能工作负载，推荐的理想内存容量为96GB系统内存。自那时以来，情况发生了很大变化，96GB内存套装可能已不再是推荐的选择。

内存市场发生了翻天覆地的变化。人工智能基础设施正消耗着海量的DRAM和HBM产能，给消费级DRAM的供应和价格带来了巨大压力。到2026年，96GB内存套装可能一货难求，或者价格大幅上涨，这使得它们对于主流发烧友的组机方案而言，吸引力将大打折扣。

所以，还是回到实验室，在现有条件下努力寻找最佳解决方案。

通过使用 RTX 4090 并运行本地 LLM 工作负载，对 32GB 和 64GB 配置进行了对比，同时考察了 DDR5 性能的影响。

测试系统如下：

• CPU：英特尔® 酷睿™ Ultra 7 处理器 270K Plus
• DRAM：CORSAIR VENGEANCE RGB CMH64GX5M2D6000C40
• 固态硬盘：MP600 ELITE 2TB PCIe Gen4 x4
• 一体式水冷：iCUE LINK TITAN 360 RX RGB 一体式水冷
• 显卡：RTX 4090 24GB XLR8 Gaming UPRISING EPIC-X

结论很简单：对于现代游戏和人工智能系统而言，64GB的DDR5内存是最佳选择，而DDR5-6000 C40在容量、性能和实用性之间实现了绝佳的平衡。

不出所料，32GB内存无法运行一个拥有700亿参数的大型语言模型（LLM）。内存利用率已远超95%，导致系统运行缓慢。另一方面，64GB的系统还剩约15GB内存，这使得用户能够同时执行其他任务。

在代币生成时间方面，未观察到显著差异。64GB 6000C40内存套件略胜一筹，但这并不意味着它在实际应用中就是最佳选择。在这张图表中，选取了这两套内存套件中速度最快和最慢的运行结果进行对比。

不过，以3次运行的平均结果来看，结果是一致的。5600C40和6000C40套件完成这些提示所需的时间几乎相同。6000C40套件快了0.5秒，但这仍在误差范围内。

总体而言，64GB的内存容量足以运行规模大得多的本地AI工作负载，而不会使系统面临严重的内存压力。这一点至关重要。

但为什么选择本地大型语言模型（LLM）呢？为什么不使用ChatGPT或其他在线API呢？原因在于隐私。用户导入到任何在线服务中的数据都可能被公开。通过在自己控制的设备上运行大型语言模型，既无需连接互联网，又能最大限度地控制其行为。本地大型语言模型的优势不仅限于隐私。成本、可定制性以及上下文长度都是本地大型语言模型具有优势的重要因素。

测试中使用了Meta的Llama 3.1 70B Instruct模型，并通过Ollama在本地运行。 该70B模型包含约700亿个参数，并支持128K的上下文窗口。这并非意味着每位AI用户都应运行70B模型。尽管更大规模的模型通常在表征知识和关系方面具有更强的能力，并在高难度的推理、编码、分析以及遵循指令等任务中表现更佳。

RTX 4090 显卡配备了 24GB 的专用显存。虽然这已是海量的显存，但对于大型本地 AI 模型而言，未必足够。一旦模型规模超过可用显存容量，部分工作负载就必须驻留在系统内存（RAM）中。此时，系统内存的作用就远不止于支持 Windows 系统、游戏和后台应用程序了。

对于主要的性能工作负载，选择了 Llama3.1 8B。其体积远小于 RTX4090 提供的 24GB 显存，这意味着系统内存对该工作负载的重要性有所降低。

与其让模型执行生成数千个单词这类人为设计的基准测试，不如采用能体现日常AI使用场景的任务。

其中包括规划、总结、分析以及结构化内容生成等活动。

使用的提示如下：“我计划进行一次为期10天的日本之旅，行程涵盖东京、京都、大阪和广岛。请制定一份详细的逐日行程安排。 请针对每一天，列出主要景点、建议的游览顺序、各景点之间的预计交通时间、推荐的餐厅或美食区，以及实用小贴士。请说明行程安排的依据，并指出可能存在的日程安排问题。最后，请提供一份简明的行李清单，并总结出行总时间中用于交通和观光的时间比例。”

PC发烧友市场正在发生变化。

• 对于游戏系统和较轻量级的人工智能工作负载而言，32GB内存依然可行，但它越来越限制了高端系统能够从容处理的任务范围。
• 对于专业用户而言，96GB依然是个绝佳的选择，但考虑到当前内存的价格和供货情况，很难将其作为发烧友的默认推荐。
• 64GB套装处于中间档位，正因如此，它们才具有合理性。

它们不仅能满足现代游戏、多任务处理以及重要本地人工智能工作负载的需求，同时还能避免大容量套件日益凸显的成本和可用性问题。

结合DDR5-6000 C40的规格，它们在容量与内存性能之间实现了良好的平衡。