Yerel Yapay Zeka için En İyi Bilgisayar Konfigürasyonları (Başlangıç / Orta / İleri Düzey)

Yerel yapay zeka için bir bilgisayar kurmak, oyun oynamak için bir bilgisayar kurmakla aynı şey değildir. VRAM ve bellek bant genişliği, saat hızlarından daha önemlidir. RAM kapasitesi, RGB ışıklandırmasından daha önemlidir. Ayrıca depolama alanı, her biri onlarca gigabayt büyüklüğünde olabilecek modelleri barındırabilmelidir. İşte üç farklı bütçe kademesinde gerçekten fark yaratan unsurlar ve her birinde gerçekçi olarak çalıştırabileceğiniz sistemler.

Parçaları seçmeden önce, yerel AI çıkarımının donanımınızdan tam olarak ne beklediğini bilmek faydalı olacaktır:

• GPU VRAM: Bu, en önemli faktördür. VRAM ne kadar fazla olursa, en yüksek hızı elde edebileceğiniz GPU üzerinde tamamen çalıştırabileceğiniz modeller de o kadar büyük olur.
• Sistem RAM'i: Bir model VRAM'e sığmazsa, sistem RAM'ine aktarılır. Daha fazla RAM olması, daha büyük modelleri çalıştırabileceğinizi, ancak bunun biraz daha yavaş olacağını gösterir.
• Bellek bant genişliği: Verilerin bellek ile işlemci arasında ne kadar hızlı aktarıldığı, token oluşturma hızını doğrudan etkiler. GPU bellek bant genişliği, genellikle sistem RAM’inden 10–20 kat daha hızlıdır.
• Depolama: Modellerin her biri 4–50+ GB büyüklüğünde olabilir. Modellerin yüklenmesinin çok uzun sürmemesi için hızlı bir depolama birimi (NVMe SSD) kullanmanız önerilir.
• CPU: Çıkarım işlemleri için sandığınız kadar önemli değildir, ancak sağlam ve modern bir CPU her şeyin sorunsuz çalışmasını sağlar ve yalnızca CPU’ya dayalı yedeklemeyi iyi bir şekilde yönetir.

Bu, sistemini baştan kurmaya gerek kalmadan yerel yapay zekayı denemek isteyenler içindir. 3 milyar ila 7 milyar parametreli küçük modeller çalıştırıyorsunuz ve bunların sürekli çökme ya da takılma sorunu yaşamadan düzgün bir şekilde çalışmasını istiyorsunuz.

• GPU: 8 GB VRAM (ör. RTX 5060 veya benzeri)
• RAM: 16–32 GB DDR4/DDR5
• Depolama: 500 GB–1 TB NVMe SSD
• İşlemci: Modern 6 çekirdekli veya daha üstü (ör. Intel Core Ultra 5 235, AMD Ryzen 5 9600X)
• Güç Kaynağı: 550–650 W, 80+ Bronze veya üstü

Kuantize edilmiş 7B modeller (Llama 3 8B Q4 gibi), 8 GB VRAM'e rahatlıkla sığar ve kullanışlı bir hızda token üretir. Sohbet edebilir, belgeleri özetleyebilir ve temel kod yardımı alabilirsiniz. Daha küçük 3B modeller ise oldukça hızlı çalışır.

7B'nin üzerindeki herhangi bir değerde sınırlara ulaşırsınız; model, iş yükünün bir kısmını CPU/RAM'e aktarır ve hızda belirgin bir düşüş yaşanır. Ancak işe başlamak ve araçları (LM Studio, Ollama) öğrenmek için bu seviye gayet yeterli.

İşte tam da bu noktada yerel yapay zeka, gerçek işlerde gerçekten yararlı olmaya başlıyor. 13 milyar boyutundaki modelleri tamamen GPU üzerinde çalıştırabilir, daha uzun bağlam pencerelerini yönetebilir ve sistemin tamamen kilitlenmesine yol açmadan çoklu görevleri yerine getirebilirsiniz.

• GPU: 12–16 GB VRAM (ör. RTX 5070 Ti veya benzeri)
• RAM: 32–64 GB DDR5
• Depolama: 1–2 TB NVMe SSD
• İşlemci: Modern 8 çekirdekli veya daha üstü (ör. Intel Core Ultra 7 265K, AMD Ryzen 7 9700X)
• Güç Kaynağı: 750 W 80+ Gold

Quantized 13B modelleri, VRAM’de fazlasıyla yer kalacak şekilde tamamen çalışır. 7B modellerine kıyasla gözle görülür derecede daha iyi çıktı kalitesi, daha tutarlı yanıtlar, daha iyi akıl yürütme ve talimatlara daha güvenilir bir şekilde uyma elde edersiniz.

70B'lik modeller, kısmi yük devri (bazı katmanlar GPU'da, geri kalanı RAM'de) sayesinde çalıştırılabilir hale geliyor, ancak daha yavaş olacaklar. Daha büyük modellerle denemeler yapmak istiyorsanız, 64 GB RAM seçeneği bu durumda tercih edilebilir.

Bu seviye, yazma desteği, kodlama, belge analizi ve birden fazla küçük modeli aynı anda çalıştırma gibi çoğu pratik yerel yapay zeka görevini yerine getirir.

Bu, mevcut en büyük açık kaynaklı modelleri hızlı bir şekilde çalıştırmak, geniş bağlam pencereleri ve karmaşık iş akışları için yeterli alana sahip olmak isteyenler içindir. 70 milyardan fazla parçalı modellerin sorunsuz bir şekilde çalıştığını veya birden fazla modelin aynı anda yüklendiğini düşünün.

• GPU: 24 GB ve üzeri VRAM (ör. RTX 3090, RTX 4090, RTX 5090) veya araçlarınız destekliyorsa çift GPU
• RAM: 64–128 GB DDR5
• Depolama: 2–4 TB NVMe SSD (sadece modeller için özel bir sürücü kullanmayı düşünün)
• İşlemci: Yeni nesil 16–24 çekirdekli (ör. Intel Core Ultra 9 285K, AMD Ryzen 9 9950X3D)
• Güç Kaynağı: 1000 W+ 80+ Gold veya Platinum

Kuantize edilmiş 70 milyar parametreli modeller, kuantizasyon düzeyine bağlı olarak 24 GB VRAM’a tamamen (veya neredeyse tamamen) sığabilir. İşte burada, bulut API’leriyle rekabet edebilecek düzeyde bir çıktı kalitesi elde edersiniz; 13 milyar ve 70 milyar parametreli modeller arasındaki fark oldukça büyüktür.

128 GB sistem RAM'i yedek olarak kullanıldığında, en büyük açık modeller bile kısmi yük devretme yoluyla erişilebilir hale geliyor. Hızlı NVMe depolama sayesinde modellerin yüklenmesi ve modeller arasında geçiş yapılması dakikalar değil, saniyeler sürüyor.

Bu aşamada, yapay zekayı sadece yerel olarak çalıştırmakla kalmıyorsunuz, bunu o kadar iyi bir şekilde yapıyorsunuz ki, bulut API’lerine başvurmaya tamamen son verebilirsiniz.

İnsanların sandığından daha önemli olan birkaç şey:

Soğutma:

• GPU'lar, sürekli yapay zeka çıkarım yükleri altında aşırı ısınır. Hava akışının güçlü olduğu bir kasa bu konuda büyük fark yaratır; bu konuyla ilgili ayrıntılar aşağıda yer almaktadır
• İşlemciler söz konusu olduğunda, kaliteli bir işlemci soğutucusu sistemin istikrarını sağlar; CORSAIR iCUE LINK TITAN RX RGB 360 mm gibi bir model, sürekli yükleri rahatlıkla kaldırabilir.

Güç kaynağı:

• Yeterli güç rezervine sahip güvenilir bir güç kaynağı, yoğun hesaplama yükleri sırasında sistem çökmelerini önler. Bu konuda tasarruf etmeye kalkışmayın. CORSAIR RMx RM1000x, çoğu sistem kurulumunda mükemmel bir çok yönlü seçenektir; güç tüketimi yüksek bir meraklı sistemi kullanıyorsanız ise HX1500i doğru tercihtir.

Kasa hava akışı:

• Sisteminiz uzun süreler boyunca yüksek yük altında çalışacak, bu nedenle uzun ömürlülük açısından iyi bir hava akışı önemlidir. CORSAIR FRAME 4000D, orta boy bir kasada sağlam bir hava akışı sağlar; daha büyük radyatörler ve daha fazla depolama alanı ihtiyacınız varsa FRAME 5000D modeline geçebilirsiniz.

Depolama hızı:

• Bir 30 GB'lık modeli HDD'den yüklemekle NVMe SSD'den yüklemek arasında bir dakika ile birkaç saniye fark vardır. Düzenli olarak farklı modelleri deniyorsanız, hızlı depolama size çok zaman kazandırır. CORSAIR MP700 PRO, en hızlı model yüklemeleri için Gen5 hızları sunarken, MP600 ELITE ise bütçenizi zorlamayacak güçlü bir Gen4 seçeneğidir.

Parça listesini atlayıp doğrudan çalışır durumda olan modellere geçmek isterseniz, CORSAIR VENGEANCE Oyun Bilgisayarları ihtiyacınız olan donanımı önceden monte edilmiş, test edilmiş ve iki yıllık garanti ile birlikte sunar. Oyun oynamak için tasarlanmış olsalar da, teknik özellikleri yerel yapay zeka uygulamaları için de oldukça uygundur; özellikle bol miktarda VRAM ve DDR5 belleğe sahip üst düzey konfigürasyonlar bu açıdan öne çıkar.

İşte mevcut VENGEANCE kadrosunun bir kısmının bu kılavuzdaki seviyelere nasıl karşılık geldiği:

Başlangıç seviyesi eşdeğeri:

• Core i5-14600K işlemci, RTX 5060 ve 16 GB DDR5 belleğe sahip VENGEANCE i7500, sağlam bir giriş seviyesi seçenektir. RTX 5060’ın 8 GB VRAM’ı, 7 milyar noktalı kuantize modelleri rahatlıkla işleyebilir; daha büyük modellere geçmek isterseniz RAM’i daha sonra yükseltebilirsiniz.

Ortalama eşdeğeri:

• Ryzen 7 9800X3D, RTX 5070 Ti ve 32 GB DDR5 ile donatılmış VENGEANCE a7500, ideal dengeyi yakalıyor. 5070 Ti, GPU üzerinde tam olarak çalışan 13B modeller için yeterli olan 16 GB VRAM sunuyor. Ayrıca 9800X3D, piyasadaki en iyi tüketici CPU'larından biri olduğu için CPU yedekleme performansı da oldukça güçlü.

Meraklılar için:

• Ryzen 9 9950X3D, RTX 5090 ve 64 GB DDR5 ile donatılmış VENGEANCE a7500 AIR, tavizsiz bir seçenektir. RTX 5090'ın 32 GB VRAM'i, bağlam için yer bırakarak 70B kuantize modelleri barındırabilir ve 64 GB DDR5, VRAM'den taşan her şey için size cömert bir yedek sağlar.

Her VENGEANCE sistemi NVMe depolama birimi ve CORSAIR sıvı soğutma sistemi ile birlikte gelir ve ABD’de monte edilir. Uyumluluk konusunda endişelenmenize gerek kalmadan, tamamen monte edilmiş ve garanti kapsamındaki bir makineye sahip olursunuz; tek yapmanız gereken koşu uygulamanızı yüklemek, bir model indirmek ve koşmaya başlamak.

Özel bir yapay zeka iş istasyonu arıyorsanız, CORSAIR AI Workstation 300 (AI300), baştan sona yerel yapay zeka uygulamaları için tasarlanmış kompakt ve amaca yönelik bir iş istasyonudur.

AI çıkarım işlemleri için optimize edilmiş yüksek bellek kapasitesine, büyük modellerle uyumlu grafik belleğine ve CORSAIR AI Yazılım Paketi'ne sahiptir; böylece kurulum için bir hafta sonunu harcamak yerine, kutudan çıkarır çıkarmaz modelleri çalıştırmaya başlayabilirsiniz.