Wybór najlepszej pamięci DRAM dla sztucznej inteligencji

Ponieważ obciążenia związane ze sztuczną inteligencją stają się coraz bardziej wymagające, wybór odpowiedniej konfiguracji pamięci DRAM ma kluczowe znaczenie dla poprawy wydajności. Ale co liczy się bardziej, szybkość czy pojemność? W tym artykule pięć różnych zestawów pamięci DRAM zostanie ocenionych na komputerze do gier/AI w celu znalezienia najlepszej konfiguracji DRAM.

Różne konfiguracje pamięci DRAM zostaną przetestowane za pomocą narzędzia Ollama, mierząc tokeny na sekundę i zużycie pamięci w trzech dużych modelach językowych (LLM).

Platforma testowa składa się z:

• PROCESOR: Intel Core Ultra 9 285K
• GPU: PNY XLR8 RTX 4090 24GB
• Płyta główna: ASRock Z890 Taichi
• SSD: CORSAIR MP700 2TB PCIe 5.0 (Gen 5) x4 NVMe M.2 SSD
• Konfiguracje DRAM:
  • 2x16GB przy 6000 MT/s
    CMH32GX5M2B6000Z30K
  • 2x24GB przy 8400 MT/s
    CMHC48GX5M2X8400C40
  • 2x32GB przy 6000 MT/s
    CMP64GX5M2B6000C30
  • 2x48GB przy 7000 MT/s
    CMH96GX5M2B7000C40
  • 4x48GB przy 5200 MT/s
    CMH192GX5M4B5200C38

Oceniono trzy modele LLM (Large Language Models) o różnych rozmiarach i różnym zapotrzebowaniu na pamięć:

• Llama 3.2 (3B) - lekki model odpowiedni dla większości komputerów AI.
• Llama 3.1 (8B) - model ze średniej półki, który oferuje zarówno szybkość, jak i pojemność.
• DeepSeek-R1 (70B) - Duży model, który przesuwa limity DRAM.

Do załadowania różnych modeli użyto narzędzia Ollama. Ollama zapewnia wynik tokenów/sekundę do pomiaru szybkości wnioskowania. Zużycie pamięci było śledzone w celu określenia, jak różne konfiguracje DRAM radzą sobie z każdym modelem. Przetestowano następujące podpowiedzi:

• "Jakie są zalety pamięci DDR5 w porównaniu z DDR4?"
• "Napisz opowiadanie o rewolucji SI w świecie, w którym ludzie i maszyny współistnieją".
• "Wyjaśnij w prosty sposób koncepcję sieci neuronowych i sposób ich szkolenia".
• "Wyjaśnij na przykładach pojęcie uczenia ze wzmocnieniem i czym różni się ono od uczenia nadzorowanego".

Na koniec przetestowano benchmark Final Fantasy XIV Dawntrail, aby zmierzyć wydajność w grach każdej konfiguracji DRAM. Celem jest znalezienie konfiguracji DRAM, która może jednocześnie obsługiwać zadania AI i gry bez obniżania wydajności.

Kilka ważnych obserwacji wyników.

Konfiguracje 32 GB i 48 GB nie były w stanie zmieścić modelu DeepSeek-R1 (70B) przy użyciu samego procesora. Nawet w przypadku korzystania z RTX 4090, 32 GB pamięci DRAM jest na krawędzi, gdy używany jest model 70b.

Wyższa prędkość zestawu 8400 MT/s CUDIMM przewyższa każdą inną konfigurację DRAM w grach, ale nawet w przypadku RTX 4090 z dużym modelem AI nie pozostaje zbyt wiele dostępnej pamięci.

• Obciążenia związane wyłącznie ze sztuczną inteligencją: Jest mało prawdopodobne, że ktoś uruchomi LLM bez GPU, więc preferowany byłby zestaw minimum 64 GB DRAM. Idealnym wyborem jest zestaw 96 GB pamięci DRAM, aby zabezpieczyć się na przyszłość w przypadku użycia jeszcze większego LLM.
• Gaming + AI: 8400 MT/s jest tutaj oczywistym zwycięzcą. Chociaż zestaw 64 GB DRAM nie jest tak daleko w tyle w grach, a ponieważ RTX 4090 zapewnia dodatkową dostępną pamięć systemową, jest to preferowany wybór.

W przypadku obciążeń związanych ze sztuczną inteligencją, pojemność pamięci DRAM odgrywa kluczową rolę, zwłaszcza w przypadku większych modeli. Jednak w przypadku systemów hybrydowych zarządzających zarówno grami, jak i sztuczną inteligencją, optymalizacja szybkości i opóźnień jest równie ważna. Dzięki ciągłej optymalizacji LLM dla różnych urządzeń i zmniejszeniu wymagań, najlepiej byłoby mieć dodatkową pojemność pamięci, aby większy model mógł działać w systemie w celu uzyskania dokładniejszych wyników.

W oparciu o powyższe rozważania, wybranym zestawem pamięci DRAM jest CMH96GX5M2B7000C40.