Zoals vorig jaar al werd vermeld, bedroeg de aanbevolen ideale RAM-capaciteit voor gaming en AI-toepassingen 96 GB systeemgeheugen. Sindsdien is er veel veranderd, en een set van 96 GB is wellicht niet langer een aanbevolen optie.
De geheugenmarkt is ingrijpend veranderd. AI-infrastructuur verbruikt enorme hoeveelheden DRAM- en HBM-capaciteit, waardoor het aanbod en de prijzen van DRAM voor consumenten onder aanzienlijke druk staan. In 2026 zullen kits van 96 GB wellicht moeilijk te vinden zijn of een aanzienlijke meerprijs met zich meebrengen, waardoor ze aanzienlijk minder aantrekkelijk worden voor een standaardcomputer voor enthousiastelingen.
Dus terug naar het laboratorium om te zoeken naar de beste oplossing, gezien de omstandigheden.
De configuraties van 32 GB en 64 GB werden vergeleken met behulp van een RTX 4090 en lokale LLM-workloads, waarbij tevens het effect van de DDR5-prestaties werd onderzocht.
Het testsysteem was als volgt:
De conclusie is duidelijk: voor een modern gaming- en AI-systeem is 64 GB DDR5 de ideale keuze, en DDR5-6000 C40 biedt een uitstekende balans tussen capaciteit, prestaties en gebruiksgemak.
Zoals verwacht is 32 GB geheugen niet toereikend voor een groot LLM met 70 miljard parameters. Het RAM-gebruik ligt ruim boven de 95% en dit vertraagt het systeem. Het systeem met 64 GB had daarentegen nog ongeveer 15 GB RAM over, waardoor de gebruikers tegelijkertijd andere taken kunnen uitvoeren.
Wat betreft de tijd die nodig is om tokens te genereren, is er geen groot verschil waarneembaar. De 64 GB 6000C40-set ligt iets voor, zonder dat dit betekent dat deze in de praktijk de beste is. Voor deze specifieke grafiek zijn de snelste en de traagste runs van de twee sets geselecteerd.
Hoewel de resultaten over een gemiddelde van drie testruns hetzelfde zijn. De 5600C40- en de 6000C40-kits hadden bijna evenveel tijd nodig om de opdrachten uit te voeren. De 6000C40-kit was iets sneller, namelijk 0,5 seconde, maar dat valt binnen de foutmarge.
Over het geheel genomen bood 64 GB voldoende geheugencapaciteit om aanzienlijk grotere lokale AI-werkbelastingen uit te voeren zonder dat het systeem onder ernstige geheugendruk kwam te staan. Dat verschil is van belang.
Maar waarom lokale LLM’s? Waarom zou men geen gebruik maken van een online API zoals ChatGPT of andere? Privacy. Gegevens die gebruikers in een online dienst invoeren, kunnen openbaar worden gemaakt. Door een LLM te draaien op een apparaat waarover u de controle heeft, hoeft u geen verbinding met het internet te maken en kunt u het gedrag ervan volledig beheersen. De voordelen van lokale LLM’s beperken zich niet alleen tot privacy. Kosten, aanpasbaarheid en de lengte van de context zijn belangrijke factoren die in het voordeel van lokale LLM’s spreken.
Voor de tests werd gebruikgemaakt van het Llama 3.1 70B Instruct-model van Meta, dat lokaal via Ollama werd uitgevoerd. Het 70B-model bevat ongeveer 70 miljard parameters en ondersteunt een contextvenster van 128K. Dit is niet bedoeld om te suggereren dat elke AI-gebruiker een 70B-model zou moeten gebruiken. Hoewel grotere modellen over het algemeen meer capaciteit hebben om kennis en relaties weer te geven en beter kunnen presteren bij veeleisende taken op het gebied van redeneren, coderen, analyseren en het opvolgen van instructies.
Een RTX 4090-videokaart biedt 24 GB aan toegewezen VRAM. Dat is een enorme hoeveelheid grafisch geheugen, maar het is niet per se voldoende voor grotere lokale AI-modellen. Zodra een model de beschikbare VRAM overschrijdt, moet een deel van de werklast in het systeemgeheugen (RAM) worden ondergebracht. Op dat moment wordt het systeem-RAM veel meer dan alleen een hulpbron voor Windows, games en achtergrondtoepassingen.
Voor de primaire prestatietest is gekozen voor de Llama3.1 8B. Deze is aanzienlijk kleiner dan de 24 GB VRAM die beschikbaar is op de RTX4090, waardoor het systeemgeheugen een minder belangrijke rol speelt in de test.
In plaats van het model te vragen een kunstmatige benchmark uit te voeren, zoals het genereren van duizenden woorden, werd gebruikgemaakt van taken die representatief zijn voor het dagelijkse gebruik van AI.
Hieronder vielen activiteiten zoals planning, samenvatting, analyse en het opstellen van gestructureerde inhoud.
De volgende opdracht werd gebruikt: „Ik ben van plan een 10-daagse reis naar Japan te maken, waarbij ik Tokio, Kyoto, Osaka en Hiroshima zal bezoeken. Stel een gedetailleerd dag-tot-dag reisplan op. Vermeld voor elke dag de belangrijkste bezienswaardigheden, de volgorde waarin ik deze het beste kan bezoeken, de geschatte reistijd tussen de locaties, aanbevolen restaurants of eetgelegenheden, en praktische tips. Leg de redenering achter het reisplan uit en wijs op eventuele problemen met de planning. Geef tot slot een beknopte paklijst en een overzicht van de totale tijd die wordt besteed aan reizen versus sightseeing.”
De markt voor pc-liefhebbers is aan het veranderen.
Ze bieden voldoende capaciteit voor moderne gaming, multitasking en veeleisende lokale AI-toepassingen, terwijl de kosten- en beschikbaarheidsproblemen worden vermeden die steeds vaker gepaard gaan met grotere configuraties.
In combinatie met de DDR5-6000 C40-specificaties bieden zij een uitstekende balans tussen capaciteit en geheugenprestaties.
PRODUCTEN IN ARTIKEL
Stay up to date with CORSAIR. Get our latest News, Guides, and Product Updates in your Google feeds.
Add CORSAIR as a preferred sourceThanks for helping us improve this article.
JOIN OUR OFFICIAL CORSAIR COMMUNITIES
Join our official CORSAIR Communities! Whether you're new or old to PC Building, have questions about our products, or want to chat about the latest PC, tech, and gaming trends, our community is the place for you.