Şirket için yapay zekâ donanımı: neye bakılır?
Kısa cevap: yerel bir dil modelini şirketin kendi donanımında çalıştırırken sınırı çoğu zaman bellek belirler. Ayrık ekran kartlı bir sunucuda bu, ekran kartının belleğidir (VRAM); Apple Silicon işlemcili bir Mac’te, örneğin bir Mac mini’de, makinenin birleşik belleğidir. Model ve cevap üretirken tuttuğu ara veriler bu belleğe sığmalıdır. “Şirketimizde yapay zekâ çalıştırmak için hangi donanım gerekir?” sorusunun tek bir cevabı yoktur; cevap modele, kullanıcı sayısına ve işin türüne göre değişir. Bu rehber sayı vermez, yöntemi anlatır: önce kullanımı tanımlamak, sonra belleği hesaplamak, aynı anda kullanıcının etkisini görmek, hızı doğru tanımlamak ve son olarak kendi belgelerinizle kısa bir deneme yapmak. Böylece bir satıcının ya da bir blogun genel bir sayısına değil, kendi ölçümünüze dayanırsınız.
Önce kullanımı tanımlayın
Donanım, bir sorunun cevabıdır ve soru “kim, ne için, ne kadar?” diye başlar:
| Soru | Neden önemli |
|---|---|
| Kaç kişi kullanacak ve aynı anda kaçı? | Aynı anda kullanıcı belleği ve işlem gücünü artırır |
| Hangi işler: kısa sohbet, uzun belge özeti, rapor, tablo hesabı? | Uzun belgeler ve uzun cevaplar daha çok bellek ister |
| Belgeler ne kadar uzun? | Modelin aynı anda okuduğu metin arttıkça ek bellek gerekir |
| Ne kadar beklemek kabul edilebilir? | İlk cevabın gelme süresi ve akış hızı ayrı ölçülür |
| Bir yıl sonra kaç kişi? | Sonradan büyütmek donanım eklemek demek olabilir |
Bellek: modelin boyutu ve sıkıştırma
Hugging Face’in Accelerate belgesi, bir modelin bellekte kapladığı yeri parametre sayısına ve her parametrenin hangi veri tipinde saklandığına bağlı olarak gösterir. Aynı model 32, 16, 8 ve 4 bitte saklandığında kapladığı yer her adımda yarıya iner; yani 16 bitten 4 bite inmek yerin dörtte birine inmesi demektir. Bu sıkıştırmaya kuantizasyon denir; kalite etkisi modele göre değişebileceği için sıkıştırılmış model de kendi belgelerinizle denenmelidir.
Bir hesap örneği (kurgusal, 10 milyar parametreli bir model): her parametre 16 bitte 2 bayt tutar, yani model yaklaşık 20 gigabayt yer kaplar; 8 bitte 10 gigabayt, 4 bitte 5 gigabayt. Belge, bu hesabın modeli yalnız belleğe yüklemek için geçerli olduğunu, cevap üretirken ek belleğe ihtiyaç duyulduğunu da belirtir. Bu nedenle hesapladığınız rakama bir pay ekleyin.
Bağlam ve aynı anda kullanıcı: ek bellek
Model cevap üretirken her istek için ara veriler tutar (anahtar-değer önbelleği). vLLM makalesi, bu önbelleğin istek başına büyük olduğunu ve dinamik biçimde büyüyüp küçüldüğünü, kötü yönetilirse belleğin boşa gittiğini ve bunun aynı anda işlenebilecek istek sayısını sınırladığını anlatır. Pratik sonucu şudur: aynı anda daha çok kullanıcı ve daha uzun belge, modelin kendi boyutundan bağımsız olarak daha çok bellek demektir. Yalnız modelin boyutuna bakarak donanım seçmek, bu nedenle eksik kalır.
Birleşik bellekli Mac ve ayrık ekran kartlı sunucu
İki yaygın mimari var ve ikisinde de sınır bellektir.
- Birleşik bellek. Apple Silicon işlemcilerde işlemci ve ekran kartı aynı bellek havuzuna doğrudan erişir ve diziler bellekte bir kez durur; MLX belgesi bunu böyle anlatır. Bir Mac mini bu mimarinin bir örneğidir. Bundan çıkan pratik sonuç, bu belgenin değil bizim yorumumuzdur: modelin sığacağı alan, makinenin belleğinden sistemin kendi kullandığı kısım çıkarılarak kalan yerdir.
- Ayrık ekran kartı. Model ekran kartının kendi belleğine (VRAM) sığmalıdır; Hugging Face’in belgesi de modelin CUDA gibi bir cihaza yüklenmesinden söz eder. Kart belleği yetmiyorsa daha küçük bir model ya da daha çok sıkıştırma gerekir.
Hangisinin sizin için uygun olduğunu bellek tek başına söylemez; aynı anda kullanıcı sayısı ve beklenen bekleme süresi de belirler.
“Hız” ne demek?
Hız tek bir sayı değildir. Üç şeyi ayrı ölçün:
- İlk cevap süresi: soruyu gönderdikten sonra cevabın ilk parçasının gelmesi.
- Akış hızı: cevap yazılırken saniyede ne kadar metin geldiği.
- Yük altındaki hız: aynı anda birkaç kişi sorduğunda bu ikisinin ne olduğu.
Tek kullanıcıyla ölçülen hız, beş kullanıcıda geçerli olmayabilir.
Üç tipik durum ve öne çıkan soru
| Durum | Öne çıkan soru |
|---|---|
| Tek kişi ya da küçük bir deneme | Model belleğe sığıyor mu, kendi belgelerimle denenebiliyor mu? |
| Bir ekip, aynı anda birkaç kişi | Aynı anda sorulduğunda bekleme süresi ne oluyor? |
| Bütün şirket | Kapasite nasıl büyür, makine arızalanırsa iş nasıl sürer? |
Sık yapılan hatalar da bellidir: yalnız modelin boyutuna bakmak, hızı tek kullanıcıyla ölçmek, bağlam için bellek payı bırakmamak ve yedek ile süreklilik sorularını satın almadan sonraya bırakmak.
Güç, ses, soğutma, ağ ve süreklilik
Donanım yalnız bellek ve işlemci değildir. Ofise ya da bir sunucu odasına konacak bir makine için şunları da sorun:
- Elektrik kesintisinde ne olur; gerekirse kesintisiz güç kaynağı var mı?
- Isı ve ses: makine açık bir ofiste mi duracak?
- Fiziksel güvenlik: makine kilitli bir odada mı, diski şifreli mi?
- Ağ: sabit bir adres, ofisteki bilgisayarlardan erişim, güvenlik duvarı.
- Süreklilik: makine arızalanırsa kim, ne kadar sürede müdahale eder; yedek nerede, geri yükleme denendi mi?
- Üretici desteği: yedek parça ve destek süresi.
Sayıyı kendiniz ölçün: kısa deneme
Satın almadan önce, kendi belgelerinizle birkaç günlük bir deneme yapın:
- Üç gerçek senaryo seçin: bir kısa soru, bir uzun belgeden özet, bir tablo hesabı.
- Her biri için ilk cevap süresini ve akış hızını tek kullanıcıyla ölçün.
- Aynı senaryoları aynı anda birkaç kişiyle tekrarlayın ve sonuçları yazın.
- Bellek kullanımını gözlemleyin; payı hesaba katın.
- Sıkıştırılmış ve sıkıştırılmamış modellerde cevap kalitesini kendi belgelerinizle kıyaslayın.
Böyle bir deneme, genel bir sayıdan çok daha güvenilir bir karar verir ve sonucu bir kez yazarsanız yeni bir model ya da yeni bir makine geldiğinde aynı yöntemi tekrarlarsınız.
AURA’da nasıl çalışır?
AURA’nın Bu Bilgisayar kurulumu için Apple Silicon işlemcili, macOS 26 ya da üstü ve en az 16 GB belleği olan bir Mac; Şirket Sunucusu için platform olarak Linux ve NVIDIA ekran kartı ya da Mac gerekir (donanım birlikte boyutlandırılır). Çıktının kalitesi donanıma göre değişir. Kurulum makineyi ölçer ve yalnız ölçümle desteklenmiş bir kademeyi önerir; ölçümü olmayan bir kademeyi kendiliğinden seçmez. Makine için ise şunlar beklenir: diski şifreli, kilitli bir odada, ağ adresi sabit; kurulumcu bunları denetler. Şirket Sunucusu ve Bu Bilgisayar kurulumlarında modeller şirketin donanımında çalışır.
Ayrıntılar için kurum içi yapay zekâ asistanı sayfasına bakabilir ya da demo isteyebilirsiniz.
Sık sorulan sorular
Yapay zekâ için en önemli donanım özelliği nedir?
Çoğu zaman bellektir: ekran kartlı bir sunucuda ekran kartının belleği (VRAM), Apple Silicon bir Mac'te birleşik bellek. Model ve cevap üretirken tuttuğu ara veriler belleğe sığmazsa model çalışmaz ya da çok yavaşlar; işlem gücü ikinci sorudur.
Kaç kullanıcı için ne kadar donanım gerekir?
Bunun tek bir cevabı yoktur: modele, belge uzunluğuna ve aynı anda kaç kişinin kullandığına bağlıdır. Doğru cevabı kendi belgelerinizle ve gerçek kullanıcı sayınızla yapacağınız kısa bir deneme verir.
Birleşik bellekli bir Mac ile ekran kartlı bir sunucu arasında nasıl seçim yapılır?
Birleşik bellekte işlemci ve ekran kartı aynı bellek havuzunu kullanır; ayrık ekran kartında model kartın kendi belleğine sığmalıdır. İkisinin de sınırı bellektir; seçimi kullanıcı sayısı ve beklenen bekleme süresi belirler.
Donanımı alırken sayıya mı güvenmeliyim?
Kaynaktan kaynağa değişen genel sayılara değil, kendi iş yükünüzle ölçtüğünüz sayılara. Bellek hesabı bir tahmindir; ölçüm onu doğrular.
Kaynaklar
Bu yazıdaki dış bilgiler şu kaynaklara dayanır. Tarih, kaynağın yayın tarihidir; tarihsiz canlı bir belgede erişim tarihidir.
- Model memory estimator (Accelerate belgeleri; erişim 16.11.2026)Yayımlayan: Hugging Face · Tarih:
- Efficient Memory Management for Large Language Model Serving with PagedAttention (Kwon ve diğerleri)Yayımlayan: arXiv · Tarih:
- Unified Memory (MLX belgeleri; erişim 16.11.2026)Yayımlayan: MLX · Tarih:
İlgili rehberler
On-premise yapay zekâ nedir? Bulut yapay zekâdan farkı
On-premise yapay zekâ, modellerin şirketin kendi donanımında çalışmasıdır. Veri nerede işlenir, artıları, eksileri ve seçerken sorulacaklar.
Güncelleme
Şirket verisiyle yapay zekâ nasıl çalışır? Eğitmek mi, aramak mı?
Yapay zekâyı şirket belgelerinizle kullanmanın iki yolu: modeli eğitmek ve belgelerde arayıp cevaplamak. Farkları, riskleri ve ne zaman hangisi.
Güncelleme
Açık ağırlıklı model nedir? Şirketler için ne anlama gelir?
Açık ağırlıklı model, ağırlıkları indirilip kendi donanımınızda çalıştırılabilen modeldir. Açık kaynaktan farkı, lisans ve şirket için anlamı.
Güncelleme
AURA’yı kendi belgelerinizle görün.
Demo talep edin