De beste pc-configuraties voor lokale AI (instap-, midden- en gevorderdenniveau)

Het samenstellen van een pc voor lokale AI is niet hetzelfde als het samenstellen van een pc voor gaming. VRAM en geheugenbandbreedte zijn belangrijker dan kloksnelheden. De hoeveelheid RAM is belangrijker dan RGB-verlichting. En de opslagruimte moet geschikt zijn voor modellen die elk tientallen gigabytes groot kunnen zijn. Hieronder lees je wat er daadwerkelijk het verschil maakt in drie verschillende prijsklassen en wat je op elk daarvan realistisch gezien kunt draaien.

Voordat je onderdelen gaat uitkiezen, is het handig om te weten wat lokale AI-inferentie precies van je hardware vraagt:

• GPU-VRAM: Dit is veruit de belangrijkste factor. Hoe meer VRAM je hebt, hoe groter de modellen zijn die je volledig op de GPU kunt draaien, en dat is waar je de hoogste snelheid haalt.
• Systeem-RAM: Als een model niet in het videogeheugen past, wordt het naar het systeem-RAM overgeheveld. Met meer RAM kun je nog steeds grotere modellen draaien, maar dan wel langzamer.
• Geheugenbandbreedte: De snelheid waarmee gegevens tussen het geheugen en de processor worden uitgewisseld, heeft een directe invloed op de snelheid waarmee tokens worden gegenereerd. De geheugenbandbreedte van een GPU is doorgaans 10 tot 20 keer sneller dan die van het systeem-RAM.
• Opslag: Modellen kunnen elk 4 tot 50+ GB groot zijn. Je hebt snelle opslag (NVMe SSD) nodig, zodat het laden van modellen niet eeuwig duurt.
• CPU: Voor inferentie is dit minder belangrijk dan je zou denken, maar een degelijke, moderne CPU zorgt ervoor dat alles soepel blijft werken en kan goed overnemen wanneer er alleen de CPU beschikbaar is.

Dit is bedoeld voor mensen die lokale AI willen uitproberen zonder hun hele systeem opnieuw te hoeven opzetten. Je draait kleine modellen met 3 tot 7 miljard parameters en je wilt dat die daadwerkelijk werken, zonder voortdurende crashes of wisselen tussen geheugens.

• GPU: 8 GB VRAM (bijv. RTX 5060 of vergelijkbaar)
• RAM: 16–32 GB DDR4/DDR5
• Opslag: 500 GB – 1 TB NVMe SSD
• CPU: moderne 6-core of beter (bijv. Intel Core Ultra 5 235, AMD Ryzen 5 9600X)
• Voeding: 550–650 W, 80+ Bronze of beter

Gekwantiseerde 7B-modellen (zoals Llama 3 8B Q4) passen ruimschoots in 8 GB VRAM en genereren tokens met een bruikbare snelheid. Je kunt ermee chatten, documenten samenvatten en eenvoudige hulp bij het programmeren krijgen. Kleinere 3B-modellen werken vlot.

Bij alles boven 7B stuit je op beperkingen: het model zal een deel van de taken naar de CPU/het RAM-geheugen verplaatsen en merkbaar trager worden. Maar om aan de slag te gaan en de tools (LM Studio, Ollama) onder de knie te krijgen, is dit niveau prima.

Hier begint lokale AI echt nuttig te worden voor praktisch werk. Je kunt modellen van 13 miljard parameters volledig op de GPU draaien, langere contextvensters verwerken en multitasken zonder dat alles tot stilstand komt.

• GPU: 12–16 GB VRAM (bijv. RTX 5070 Ti of vergelijkbaar)
• RAM: 32–64 GB DDR5
• Opslag: 1–2 TB NVMe SSD
• CPU: moderne 8-core of beter (bijv. Intel Core Ultra 7 265K, AMD Ryzen 7 9700X)
• Voeding: 750 W 80+ Gold

Quantized 13B-modellen draaien volledig in het VRAM, met ruim voldoende ruimte over. Je krijgt een merkbaar betere uitvoerkwaliteit dan bij 7B-modellen: samenhangender antwoorden, betere redeneringen en een betrouwbaardere uitvoering van instructies.

Met gedeeltelijke offloading (sommige lagen op de GPU, de rest in het RAM-geheugen) worden modellen van 70B mogelijk, hoewel ze wel trager zullen zijn. De optie met 64 GB RAM is hier de moeite waard als je met grotere modellen wilt experimenteren.

Dit niveau is geschikt voor de meeste praktische lokale AI-taken: hulp bij het schrijven, programmeren, documentanalyse en het gelijktijdig draaien van meerdere kleinere modellen.

Dit is bedoeld voor mensen die de grootste beschikbare open modellen snel willen uitvoeren, met ruimte voor grote contextvensters en complexe workflows. Denk aan modellen van meer dan 70 miljard parameters die soepel draaien, of meerdere modellen die tegelijkertijd worden geladen.

• GPU: 24 GB+ VRAM (bijv. RTX 3090, RTX 4090, RTX 5090) of twee GPU’s als je software dit ondersteunt
• RAM: 64–128 GB DDR5
• Opslag: 2–4 TB NVMe SSD (overweeg een aparte schijf speciaal voor modellen)
• CPU: moderne processor met 16–24 kernen (bijv. Intel Core Ultra 9 285K, AMD Ryzen 9 9950X3D)
• Voeding: 1000 W+ 80+ Gold of Platinum

Afhankelijk van het kwantificatieniveau passen gekwantificeerde 70B-modellen volledig (of bijna volledig) in 24 GB VRAM. Hiermee bereik je een uitvoerkwaliteit die zich kan meten met die van cloud-API’s; het verschil tussen een 13B- en een 70B-model is aanzienlijk.

Met 128 GB systeem-RAM als back-up worden zelfs de grootste geopende modellen toegankelijk via gedeeltelijke offloading. En dankzij de snelle NVMe-opslag duurt het laden van en schakelen tussen modellen slechts enkele seconden, in plaats van minuten.

Op dit niveau draai je AI niet alleen lokaal, maar doe je dat zo goed dat je misschien helemaal geen gebruik meer hoeft te maken van cloud-API’s.

Een paar dingen die belangrijker zijn dan mensen denken:

Koeling:

• GPU’s worden erg warm bij langdurige AI-inferentietaken. Een behuizing met een krachtige luchtstroom maakt echt een verschil; daarover hieronder meer
• Wat CPU’s betreft, zorgt een goede CPU-koeler ervoor dat alles stabiel blijft; een model als de CORSAIR iCUE LINK TITAN RX RGB 360 mm is bestand tegen langdurige belasting.

Voeding:

• Een betrouwbare voeding met voldoende reservevermogen voorkomt systeemcrashes bij zware rekenbelastingen. Bespaar hier niet op. De CORSAIR RMx RM1000x is een uitstekende allrounder voor de meeste systemen, en de HX1500i is de juiste keuze als je een energieverslindende computer voor enthousiastelingen hebt.

Luchtstroom in de behuizing:

• Je systeem zal gedurende langere tijd onder zware belasting draaien, dus een goede luchtstroom is belangrijk voor een lange levensduur. De CORSAIR FRAME 4000D biedt je een uitstekende luchtstroom in een mid-tower, of kies voor de FRAME 5000D als je ruimte nodig hebt voor grotere radiatoren en meer opslagruimte.

Opslagsnelheid:

• Het laden van een model van 30 GB vanaf een HDD versus een NVMe SSD maakt een verschil van een minuut versus een paar seconden. Als je regelmatig met verschillende modellen experimenteert, bespaart snelle opslag veel tijd. De CORSAIR MP700 PRO biedt Gen5-snelheden voor het snelst laden van modellen, of de MP600 ELITE is een uitstekende Gen4-optie die niet al te duur is.

Als je de onderdelenlijst liever overslaat en meteen aan de slag wilt met kant-en-klare modellen, dan zijn de CORSAIR VENGEANCE-gaming-pc’s precies wat je zoekt: ze worden geleverd met alle benodigde hardware, volledig gemonteerd en getest, en voorzien van twee jaar garantie. Hoewel ze speciaal zijn ontworpen voor gaming, zijn de specificaties ook uitstekend geschikt voor lokale AI, met name de duurdere configuraties met veel VRAM en DDR5-geheugen.

Hieronder zie je hoe een deel van de huidige VENGEANCE-opstelling zich verhoudt tot de niveaus in deze gids:

vergelijkbaar met een starter:

• De VENGEANCE i7500 met een Core i5-14600K, RTX 5060 en 16 GB DDR5 is een solide instapmodel. De 8 GB VRAM van de RTX 5060 kan kwantiseerde modellen van 7 miljard hoekpunten moeiteloos aan, en je kunt het RAM-geheugen later uitbreiden als je grotere modellen wilt gaan gebruiken.

Middenwaarde:

• De VENGEANCE a7500 met een Ryzen 7 9800X3D, RTX 5070 Ti en 32 GB DDR5 is de perfecte combinatie. De 5070 Ti biedt 16 GB VRAM, genoeg voor 13B-modellen die volledig op de GPU draaien. En de 9800X3D is een van de beste CPU's voor consumenten die er te krijgen is, dus de prestaties bij terugval op de CPU zijn ook sterk.

Voor liefhebbers:

• De VENGEANCE a7500 AIR met een Ryzen 9 9950X3D, RTX 5090 en 64 GB DDR5 is de optie zonder compromissen. De 32 GB VRAM van de RTX 5090 biedt ruimte voor 70 miljard gekwantiseerde modellen met ruimte voor context, en 64 GB DDR5 biedt je een royale back-up voor alles wat buiten de VRAM valt.

Elk VENGEANCE-systeem is uitgerust met NVMe-opslag en vloeistofkoeling van CORSAIR, en wordt in de VS geassembleerd. Je krijgt een volledig gemonteerde machine met garantie, zonder dat je je zorgen hoeft te maken over compatibiliteit: installeer gewoon je runner-app, download een model en je kunt aan de slag.

Als u op zoek bent naar een speciaal AI-werkstation, dan is de CORSAIR AI Workstation 300 (AI300) een compact, speciaal ontworpen werkstation dat vanaf de basis is ontwikkeld voor lokale AI.

Het wordt geleverd met een configuratie met veel geheugen die is geoptimaliseerd voor AI-inferentie, grafisch geheugen dat meegroeit met grote modellen, en de CORSAIR AI Software Stack, zodat je direct aan de slag kunt met je modellen in plaats van een weekend te besteden aan het instellen ervan.