AI에 가장 적합한 DRAM 선택하기

AI 작업량이 늘어남에 따라, 성능 향상을 위해서는 올바른 DRAM 구성을 선택하는 것이 중요합니다. 그러나 더 중요한 것은 속도 또는 용량입니까? 이 기사에서는 게임/AI PC에서 5가지 다른 DRAM 키트를 평가하여 최고의 DRAM 구성을 찾아봅니다.

Ollama 도구를 사용하여 세 가지 대규모 언어 모델(LLM)에 걸쳐 초당 토큰 수와 메모리 사용량을 측정하는 다양한 DRAM 설정을 테스트할 것입니다.

테스트 플랫폼은 다음으로 구성되어 있습니다:

• CPU: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• 마더보드: ASRock Z890 Taichi
• SSD: CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
• DRAM 구성:
  • 6000 MT/s에서 2x16GB
    CMH32GX5M2B6000Z30K
  • 2x24GB, 8400MT/s
    CMHC48GX5M2X8400C40
  • 6000 MT/s에서 2x32GB
    CMP64GX5M2B6000C30
  • 2x48GB 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48GB 5200 MT/s
    CMH192GX5M4B5200C38

메모리 요구량이 다른 다양한 크기의 세 가지 LLM(Large Language Models)을 평가했습니다.

• Llama 3.2 (3B) – 대부분의 AI PC에 적합한 경량 모델입니다.
• Llama 3.1 (8B) – 속도와 용량 모두에서 장점을 가진 중급 모델입니다.
• DeepSeek-R1 (70B) – DRAM의 한계를 뛰어넘는 대형 모델.

Ollama 유틸리티는 다양한 모델을 로드하는 데 사용되었습니다. Ollama는 추론 속도를 측정하기 위해 초당 토큰 수를 제공합니다. 메모리 사용량을 추적하여 다양한 DRAM 구성이 각 모델을 어떻게 처리하는지 확인했습니다. 테스트한 프롬프트는 다음과 같습니다.

• "DDR4 메모리보다 DDR5 메모리의 장점은 무엇인가요?"
• "인간과 기계가 공존하는 세상에서 AI 혁명을 주제로 한 짧은 이야기를 써 보세요."
• "신경망의 개념과 그것이 어떻게 훈련되는지를 간단한 용어로 설명해 주세요."
• "강화 학습의 개념과 그것이 지도 학습과 어떻게 다른지 예를 들어 설명해 주세요."

마지막으로, 파이널 판타지 14: 다크 트레일 벤치마크를 테스트하여 각 DRAM 구성의 게임 성능을 측정했습니다. 목표는 성능 저하 없이 AI 작업과 게임을 동시에 처리할 수 있는 DRAM 구성을 찾는 것입니다.

몇 가지 중요한 관찰 결과.

32GB와 48GB 구성은 CPU만 사용할 때 DeepSeek-R1(70B) 모델에 맞지 않았습니다. RTX 4090을 사용하더라도 70b 모델을 사용할 때는 32GB의 DRAM이 한계에 달합니다.

8400 MT/s CUDIMM 키트의 빠른 속도는 게임에서 다른 어떤 DRAM 구성보다 뛰어납니다. 그러나 RTX 4090이 큰 크기의 AI 모델을 실행하는 경우에도 사용 가능한 메모리가 많이 남아 있지 않습니다.

• AI 작업량 전용: GPU 없이 LLM을 실행하는 경우는 거의 없기 때문에 최소 64GB DRAM 키트를 사용하는 것이 좋습니다. 더 큰 LLM을 사용할 경우를 대비하여 미래에 대비할 수 있는 최선의 선택은 96GB DRAM 키트입니다.
• 게임 + AI: 8400 MT/s가 확실한 승자입니다. 64GB DRAM 키트가 게임에서 크게 뒤처지지는 않지만, RTX 4090이 추가 시스템 메모리를 제공하기 때문에 이 키트가 선호되는 선택입니다.

AI가 많이 사용되는 작업의 경우, 특히 더 큰 모델의 경우, DRAM 용량이 중요한 역할을 합니다. 그러나 게임과 AI를 모두 관리하는 하이브리드 시스템의 경우, 속도 및 지연 시간 최적화가 중요합니다. LLM이 다양한 하드웨어에 맞게 지속적으로 최적화되고 요구 사항이 줄어들면, 더 큰 모델이 시스템에서 실행되어 더 정확한 결과를 얻을 수 있도록 추가 메모리 용량을 확보하는 것이 가장 좋습니다.

위에서 설명한 사항을 고려할 때, 선택 가능한 DRAM 키트는 CMH96GX5M2B7000C40입니다.