Välja det bästa DRAM-minnet för AI

I takt med att AI-arbetsbelastningarna blir allt mer krävande är det avgörande att välja rätt DRAM-konfiguration för att förbättra prestandan. Men vad är viktigast, hastighet eller kapacitet? I den här artikeln kommer fem olika DRAM-kit att utvärderas på en gaming/AI-dator för att hitta den bästa DRAM-konfigurationen.

Olika DRAM-konfigurationer kommer att testas med hjälp av Ollama-verktyget, som mäter tokens per sekund och minnesanvändning i tre stora språkmodeller (LLM).

Testplattformen består av:

• PROCESSOR: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Moderkort: ASRock Z890 Taichi
• SSD: CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
• DRAM-konfigurationer:
  • 2x16GB vid 6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24GB vid 8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32GB vid 6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48GB vid 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48GB vid 5200 MT/s
    CMH192GX5M4B5200C38

Tre LLM:er (Large Language Models) av varierande storlek och med olika minnesbehov utvärderades:

• Llama 3.2 (3B) - En lättviktsmodell som passar de flesta AI-datorer.
• Llama 3.1 (8B) - En mellanklassmodell som drar nytta av både hastighet och kapacitet.
• DeepSeek-R1 (70B) - En stor modell som tänjer på DRAM-gränserna.

Verktyget Ollama användes för att ladda de olika modellerna. Ollama ger en poäng för tokens / sekund för att mäta inferenshastigheten. Minnesanvändningen spårades för att identifiera hur olika DRAM-konfigurationer hanterar varje modell. De uppmaningar som testades är följande:

• "Vilka är fördelarna med DDR5 jämfört med DDR4-minne?"
• "Skriv en novell om en AI-revolution i en värld där människor och maskiner existerar sida vid sida."
• "Förklara konceptet med neurala nätverk och hur de tränas i enkla ordalag."
• "Förklara begreppet reinforcement learning och hur det skiljer sig från supervised learning, med exempel."

Slutligen testades Final Fantasy XIV Dawntrail benchmark för att mäta spelprestanda för varje DRAM-konfiguration. Målet är att ta reda på vilken DRAM-konfiguration som kan hantera AI-uppgifter och spel samtidigt utan att kompromissa med prestandan.

Några viktiga observationer resultaten.

32GB- och 48GB-konfigurationer kunde inte passa DeepSeek-R1 (70B)-modellen när endast CPU:n användes. Även när RTX 4090 används är 32 GB DRAM på gränsen när 70b-modellen används.

Den högre hastigheten på 8400 MT/s CUDIMM-kitet överträffar alla andra DRAM-konfigurationer i spel, men även med en RTX 4090 som kör en stor AI-modell finns det inte mycket tillgängligt minne kvar.

• Endast AI-arbetsbelastningar: Det är ganska osannolikt att någon kommer att köra någon LLM utan GPU, så minst ett 64 GB DRAM-kit skulle vara att föredra. Helst är 96 GB DRAM-kit det bästa valet för att vara framtidssäkrad i händelse av att en ännu större LLM kommer att användas.
• Spel + AI: 8400 MT/s är den självklara vinnaren här. Även om 64GB DRAM-kitet inte är så långt efter i spel och eftersom RTX 4090 ger det extra tillgängliga systemminnet, är detta det föredragna valet här.

För AI-tunga arbetsbelastningar spelar DRAM-kapaciteten en avgörande roll, särskilt med större modeller. För hybridsystem som hanterar både spel och AI är dock optimering av hastighet och latens lika viktigt. När LLM:er kontinuerligt optimeras för olika hårdvara och kraven minskar är det bäst att ha extra minneskapacitet så att en större modell kan köras i systemet för att uppnå mer exakta resultat.

Baserat på de överväganden som beskrivs ovan är det DRAM-kit som ska väljas CMH96GX5M2B7000C40.