为人工智能选择最佳DRAM

随着AI工作负载的要求日益提高，选择合适的DRAM配置对于提升性能至关重要。但究竟是速度更重要，还是容量更重要？本文将通过在游戏/AI电脑上对五套不同的DRAM套件进行评测，以找出最佳的DRAM配置。

将使用Ollama工具对不同的DRAM配置进行测试，测量三个大型语言模型（LLMs）的每秒令牌数和内存使用情况。

该测试平台由以下部分组成：

• CPU：英特尔酷睿Ultra 9 285K
• 显卡：PNY XLR8 RTX 4090 24GB
• 主板：华擎 Z890 Taichi
• 固态硬盘： 海盗船 MP700 2TB PCIe 5.0（第5代）x4 NVMe M.2 固态硬盘
• DRAM 配置：
  • 2×16GB，6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2×24GB，8400 MT/s
    CMHC48GX5M2X8400C40
  • 2×32GB，6000 MT/s
    CMP64GX5M2B6000C30
  • 2×48GB，7000 MT/s
    CMH96GX5M2B7000C40
  • 4×48GB，5200 MT/s
    CMH192GX5M4B5200C38

对三种规模不同、内存需求各异的大型语言模型（LLM）进行了评估：

• Llama 3.2 (3B)– 一款轻量级模型，适用于大多数AI个人电脑。
• Llama 3.1 (8B)– 一款兼具速度与容量优势的中端型号。
• DeepSeek-R1 (70B)– 一款将DRAM性能推向极限的大型模型。

使用 Ollama 工具加载了不同的模型。Ollama 提供“令牌/秒”的评分来衡量推理速度。通过跟踪内存使用情况，以了解不同的 DRAM 配置在处理每个模型时的表现。测试的提示词如下：

• “DDR5 内存相比 DDR4 内存有哪些优势？”
• “写一篇短篇小说，讲述在一个人类与机器共存的世界中发生的人工智能革命。”
• “请用通俗易懂的语言解释神经网络的概念及其训练方法。”
• “请结合实例，解释强化学习的概念，并说明它与监督学习的区别。”

最后，我们测试了《最终幻想XIV：黎明之路》的基准测试，以衡量每种DRAM配置的游戏性能。目的是找出一种既能同时处理AI任务和游戏，又不影响性能的DRAM配置。

从结果中得出以下几点重要观察。

仅使用CPU时，32GB和48GB配置无法容纳DeepSeek-R1 (70B)模型。即使使用了RTX 4090，在运行70B模型时，32GB的DRAM容量也已接近极限。

这款8400 MT/s的CUDIMM套件凭借更高的速度，在游戏性能方面超越了任何其他DRAM配置，但即便是搭载RTX 4090并运行大型AI模型时，可用内存也所剩无几。

• 仅限 AI 工作负载：几乎没有人会在没有 GPU 的情况下运行任何大型语言模型（LLM），因此建议至少配备 64GB DRAM 套件。理想情况下，96GB DRAM 套件是最佳选择，以应对未来可能使用更大规模 LLM 的需求。
• 游戏 + AI：8400 MT/s 显然是此处的赢家。尽管 64GB DRAM 套件在游戏性能上与之差距不大，而且由于 RTX 4090 提供了额外的系统内存，因此这是此处的首选。

对于以人工智能为主的工作负载而言，DRAM 容量起着至关重要的作用，尤其是在处理大型模型时。然而，对于同时处理游戏和人工智能任务的混合系统而言，速度和延迟的优化同样重要。随着大型语言模型（LLMs）不断针对不同硬件进行优化，系统需求逐渐降低，因此最好预留额外的内存容量，以便在系统中运行更大的模型，从而获得更准确的结果。

基于上述考虑，推荐选择的DRAM套件是CMH96GX5M2B7000C40。