Kısa yanıt
LLM çıkarımı için en iyi GPU hangisi?
LLM çıkarımı için en iyi GPU, VRAM'i modeli ve yaklaşık %20'sini tutan en ucuz olandır: 7–8B modeller için bir RTX 4090 (24 GB), FP8'de 32B veya 4-bit'te 70B için bir L40S (48 GB), FP8'de 70B için bir H200 (141 GB) ve 671B DeepSeek için 8× H200. 29 Ekim 2026 itibarıyla, GPUwithCrypto H200'ü $3.07/saat karşılığında kiralıyor, kripto ile ödeme.
Her model boyutu için hangi GPU'yu kullanmalıyım?
Gerekli VRAM = ağırlıklar × 1,2 (bkz. VRAM rehberi). Fiyatımız ve 29 Ekim 2026'da kontrol ettiğimiz sağlayıcılar arasında bulduğumuz GPU-saati başına en düşük self-servis on-demand fiyat.
| Model boyutu (örnek) | Gerekli VRAM | En iyi GPU | Neden | GPUwithCrypto | Başka yerde en düşük (GPU başına) |
|---|---|---|---|---|---|
| BF16'da 7–8B (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | RTX 4090 24GB | BF16 ağırlıklarını ve 32K-token önbelleğini tutar (Llama 3.1 8B'de 4,3 GB); FP8 Tensor Cores | $0.28/saat | $0.33 (Salad) |
| 128K-token bağlamlı 7–8B | 16 GB + 17,2 GB önbellek = 33,2 GB | L40S 48GB | Tek başına bir 128K-token BF16 önbelleği 17,2 GB gerektirir | $0.82/saat | $0.97 (Massed Compute) |
| FP8'de 30–32B (Qwen2.5 32B) | 39 GB | L40S 48GB | FP8 Tensor Cores ile 48 GB (733 TFLOPS yoğun FP8 tepe) | $0.82/saat | $0.97 (Massed Compute) |
| BF16'da 30–32B | 78 GB | A100 80GB | Aralığımızdaki giriş 80 GB GPU; FP8 Tensor Cores yok, bu yüzden BF16 veya 4-bit sunun | $0.92/saat | $1.09 (Thunder Compute) |
| 4-bit'te 70–72B | 42–43,6 GB | L40S 48GB | Aralığımızda 44 GB üzeri giriş GPU | $0.82/saat | $0.97 (Massed Compute) |
| FP8'de 70–72B (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | H200 141GB | İki H100 yerine tek GPU; KV önbelleği için 54–57 GB kalır; 4.800 GB/s | $3.07/saat | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | Model kartı tek bir 80 GB GPU'yu hedefliyor; FP8 Tensor Cores, 3.350 GB/s (SXM) | $2.32/saat | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | FP4/FP8 ağırlıkları 159,6 GB tutuyor; SGLang 4× H200 belgeliyor | $6.14/saat | $3.62 (Massed Compute) |
| FP8'de 405B (Llama 3.1 405B) | 486 GB | 4× H200 | Dört GPU'da 564 GB; 8× H100 iki katı GPU sayısı gerektirirdi | $12.28/saat | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | Tek sunucuda 1.128 GB; 8× H100 yalnızca 640 GB tutuyor | $24.56/saat | $3.62 (Massed Compute) |
Fiyatlar tarihinde kontrol edildi
GPU-saat başına, USD, vergiler hariç. Spot ve pazar yeri fiyatları sayılmıyor: daha düşük olabilirler, ancak GPU geri alınabilir.
Neden çıkarım için VRAM, TFLOPS'tan daha önemli?
VRAM, modelin çalışıp çalışmayacağını belirler; bellek bant genişliği ise metin üretiminin hız sınırını koyar. Her yeni token, bellekteki tüm etkin ağırlıkları bir kez okur, bu yüzden küçük batch boyutlarında GPU aritmetiği değil belleği bekler. Hesaplama gücü daha çok uzun prompt'lar (prefill) ve büyük kullanıcı batch'leri için önemlidir.
Bu yüzden bir H200 ile bir H100 aynı tepe FP8 hesaplama gücüne sahiptir (NVIDIA rakamlarıyla 1.979 TFLOPS dense), ancak H200 %76 daha fazla bellek tutar ve onu %43 daha hızlı taşır: 3.350 GB/s'ye karşı 4.800 GB/s. Buradaki bant genişliği ve TFLOPS, bizim ölçümlerimiz değil, NVIDIA'nın tepe rakamlarıdır.
Hangi GPU hangi modele uyar? (VRAM'e göre sıralı)
Kiraladığımız yedi GPU, modelin hangisine sığacağını VRAM belirlediği için GPU başına VRAM'e göre en büyükten başlayarak listelendi. Bant genişliği ikinci ölçüt, saat başına fiyat üçüncü.
-
1
NVIDIA B200
En fazla VRAM8.000 GB/s'de 180 GB HBM3e (NVIDIA'nın 8 GPU'lu HGX rakamlarının GPU başına payı), FP8 ve FP4 Tensor Cores. Tek bir GPU'da BF16'da (168 GB) bir 70B modeli tutar.
-
4.800 GB/s'de 141 GB HBM3e. FP8'de (84 GB) bir 70B modeli tutar ve KV önbelleği için 57 GB kalır. Sekizi DeepSeek-V3 veya V4 Pro'yu tutar.
-
3.350 GB/s'de (SXM) veya 2.000 GB/s'de (PCIe) 80 GB HBM3, FP8 Tensor Cores. gpt-oss-120b'yi veya BF16'da bir 32B modeli tutar.
-
2.039 GB/s'de (SXM) veya 1.935 GB/s'de (PCIe) 80 GB HBM2e. FP8 Tensor Cores yok: BF16 veya 4-bit ile sunun.
-
864 GB/s'de 48 GB GDDR6, FP8 Tensor Cores, NVLink yok. FP8'de 32B veya 4-bit'te 70B tutar.
-
1.792 GB/s bant genişliğinde 32 GB GDDR7, FP8 ve FP4 Tensor Cores. BF16'da 12B'lik (28,8 GB) veya 4-bit'te 32B'lik (19,5 GB) bir modeli uzun context için yer bırakarak barındırır.
-
1.008 GB/s bant genişliğinde 24 GB GDDR6X, FP8 Tensor Cores. BF16'da 7–8B'lik bir modeli barındırır.
Açıklama: bu sayfa GPUwithCrypto tarafından yayımlanmıştır. Rakip bilgileri, yukarıda belirtilen tarihte rakiplerin herkese açık web sitelerinden alınmıştır ve o tarihten bu yana değişmiş olabilir.
Bir H200, iki H100'den daha mı iyi bir değer?
FP8'de bir 70B model için evet: bir H200 bunu barındırır, iki H100 ise bölmek ve her layer'da veri alışverişi yapmak zorundadır. GPUwithCrypto'nin 29 Ekim 2026 tarihli fiyat kontrolüne göre, 13 sağlayıcı genelinde on-demand H200'ün medyanı GPU-saati başına $5.29, H100'de ise 16 sağlayıcı genelinde $4.16 oldu. H200 saat başına %27 daha pahalı ama %76 daha fazla VRAM sunuyor, yani GB bellek başına %28 daha ucuz.
Bizim fiyatlarımızda tercih, iki H100'ün saat başına $4.64 fiyatına karşı bir H200 için $3.07/saat olur. Tam karşılaştırma: H100 vs H200.
Spot ve marketplace GPU'ları ne olacak?
Daha ucuza gelirler ama iş ortasında kaybolabilirler. Vast.ai marketplace'inde en ucuz H100 teklifi 29 Ekim 2026'da saat başına $1.73 oldu (Vast.ai genel fiyat akışı), bulduğumuz en düşük on-demand fiyatın altında. Ayakta kalması gereken bir inference sunucusu için kesinti, downtime demektir. Instance'lar on-demand'dır, spot değil: bakiyeniz yettiği sürece kimse GPU'nuzu geri alamaz ve instance siz durdurana kadar çalışır. Her birinin ne zaman kullanılacağı: spot GPU nedir.
LLM inference GPU soruları
Llama 70B'yi çalıştırmak için hangi GPU'ya ihtiyacım var?
FP8'de bir H200 (84 GB gerekli, 141 GB mevcut), 4-bit'te bir L40S (42 GB gerekli, 48 GB mevcut) veya BF16'da bir B200 (168 GB gerekli, 180 GB mevcut). İki H100 de toplam 160 GB ile FP8 sürümünü barındırır.
DeepSeek V4 için en iyi GPU hangisi?
H200. DeepSeek V4 Flash'ın ağırlıkları 159,6 GB tutuyor, yani en az iki H200 gerektiriyor ve SGLang cookbook dört tane belgeliyor. V4 Pro'nun 864,7 GB ihtiyacı sekiz H200 gerektiriyor. Komutlar DeepSeek V4 rehberinde.
RTX 4090 LLM inference için iyi mi?
7–8B modeller için evet: 24 GB, BF16'da Llama 3.1 8B'yi barındırır (overhead ile 19,2 GB) ve 1.008 GB/s bant genişliğiyle serimizin giriş seviyesi GPU'sudur. BF16'da yaklaşık 10B parametrenin üzerinde belleği yetmez.
A100 2026'da inference için hâlâ iyi mi?
BF16 ve 80 GB'a kadar 4-bit modeller için evet ve serimizdeki giriş seviyesi 80 GB GPU'dur. FP8 Tensor Cores'u yok, bu yüzden FP8 checkpoint'ler L40S, H100 veya H200'de daha iyi çalışır. Bkz. H100 vs A100.
Bu GPU'ları kripto ile kiralayabilir miyim?
Evet. GPUwithCrypto, bir $1 bakiyesi yüklemesinden BTC, USDT, USDC, ETH, SOL, LTC, XMR kabul eder; kimlik yok, kart yok. Instances, çalıştıkları sürece saatlik ücret üzerinden dakika başına faturalandırılır ve o GPU için satın aldığınız GPU-saatlerden düşülür. Bir instance durdurulduğunda ücretlendirme anında durur.
Kaynaklar (14)
- NVIDIA H200 teknik özellikleri — NVIDIA (read 2026-10-29)
- NVIDIA H100 özellikleri — NVIDIA (read 2026-10-29)
- NVIDIA A100 özellikleri — NVIDIA (read 2026-10-29)
- NVIDIA L40S teknik özellikleri — NVIDIA (read 2026-10-29)
- NVIDIA HGX platformu (B200) — NVIDIA (read 2026-10-29)
- NVIDIA Ada GPU mimarisi teknik inceleme belgesi (RTX 4090) — NVIDIA (read 2026-10-29)
- NVIDIA RTX Blackwell mimarisi teknik raporu (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- gpt-oss-120b model kartı — OpenAI / Hugging Face (read 2026-10-29)
- DeepSeek-V4 cookbook — SGLang (read 2026-10-29)
- Massed Compute fiyatlandırması vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- SaladCloud fiyat değişiklikleri, Kasım 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Thunder Compute fiyatlandırması thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Vast.ai halka açık GPU fiyat akışı — Vast.ai (read 2026-10-29)