# Bir LLM'i çalıştırmak veya fine-tune etmek için ne kadar VRAM gerekli?

> Bir LLM için ne kadar VRAM gerekli? Parametre × bayt + %20: 70B model FP16'da 168 GB, FP8'de 84 GB ister. Uyum tabloları ve kripto fiyatları, Ekim 2026.

- URL: https://gpuwithcrypto.com/tr/how-much-vram-do-i-need/
- Son güncelleme: 2026-10-29
- Yayıncı: GPUwithCrypto (https://gpuwithcrypto.com)

Formül, 7B'den 1,6T parametreye kadar açık modeller için aritmetik ve her birini barındıran en küçük GPU setimiz, saatlik fiyatıyla birlikte.

**Kısa yanıt — Bir LLM'i çalıştırmak veya fine-tune etmek için ne kadar VRAM gerekli?**

İhtiyacınız olan VRAM, modelin parametreleri × parametre başına bayt, artı KV cache ve aktivasyonlar için yaklaşık %20'dir: FP16/BF16'da milyar parametre başına 2,4 GB, FP8'de 1,2 GB, 4-bit'te 0,6 GB. 70B'lik bir model yaklaşık 168 GB, 84 GB veya 42 GB gerektirir. 29 Ekim 2026 itibarıyla **GPUwithCrypto**, uygun GPU'ları $0.28/saat fiyatlı bir RTX 4090'dan $3.07/saat fiyatlı bir H200'e kadar kripto ile ödeme alarak kiralar.

## Formül nedir?

| Özellik | Değer |
| --- | --- |
| Ağırlıklar | Parametreler (milyar) × parametre başına bayt = GB |
| Parametre başına bayt | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0,5 |
| Bir modeli çalıştırma | Ağırlıklar × 1,2. EleutherAI, çıkarım için gereken ek belleği ağırlıkların en fazla %20'si olarak belirtiyor |
| Uzun bağlam | KV cache'i ekleyin: 2 × katman sayısı × KV head sayısı × head boyutu × değer başına bayt × token sayısı |
| Tam fine-tuning | Parametre başına 16 ila 18 bayt (ağırlıklar, gradyanlar, AdamW durumları), aktivasyonlar ayrıca |
| LoRA | Dondurulmuş BF16 taban için parametre başına 2 bayt, planlama için × 1,2 |
| QLoRA | Milyar parametre başına yaklaşık 0,75 GB (4-bit taban artı adaptörler) |

## Bir modelin ihtiyaç duyduğu VRAM'i nasıl hesaplarım?

Parametre sayısını her parametrenin kapladığı baytla çarpın, sonra %20 ekleyin. Örnek hesap, FP8'de Llama 3.1 70B: 70 milyar × 1 bayt = 70 GB ağırlık ve 70 × 1,2 = 84 GB. Bu, bir adet 80 GB H100'den fazla, bir adet 141 GB H200'den azdır, yani en küçük uygun seçenek bir H200'dür. Hangi GPU'nun hangi modeli paraya göre en hızlı sunduğu: [LLM çıkarımı için en iyi GPU](https://gpuwithcrypto.com/tr/best-gpu-for/llm-inference/ "LLM çıkarımı için en iyi GPU hangisi?").

%20, ölçülü bir bağlam uzunluğu ve batch boyutunda KV cache ile aktivasyonları kapsar. Kural ve parametre başına bayt değerleri EleutherAI'nin *Transformer Math 101* yazısından gelir. Bu bir boyutlandırma kuralıdır, garanti değildir: uzun prompt'lar, çok sayıda paralel kullanıcı ve framework yükü bunu aşar. Bir kartın VRAM'ine %5 kadar yakın bir toplam, örneğin 80 GB'lık bir kartta BF16'da Qwen2.5 32B (78 GB), yalnızca kısa prompt'larla çalışır; uzun olanlar için bir üst boya geçin.

## Her model ne kadar VRAM gerektirir ve hangi GPU uyar?

Her hücre: ağırlıklar × 1,2 → GPU'larımızdaki en küçük uygun yapılandırma → saatlik fiyatı. En küçük uygun yapılandırma = toplamı birlikte barındıran en az GPU (1, 2, 4 veya 8), ardından 29 Ekim 2026 fiyatlarımızla bunların en ucuzu. Parametre sayıları resmi model kartlarından alınmıştır.

| Model (parametreler) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7.3B) | **17,5 GB** → 1× RTX 4090 · $0.28/saat | **8,8 GB** → 1× RTX 4090 · $0.28/saat | **4,4 GB** → 1× RTX 4090 · $0.28/saat |
| Llama 3.1 8B (8B) | **19,2 GB** → 1× RTX 4090 · $0.28/saat | **9,6 GB** → 1× RTX 4090 · $0.28/saat | **4,8 GB** → 1× RTX 4090 · $0.28/saat |
| Qwen2.5 32B (32.5B) | **78,0 GB** → 1× A100 80GB · $0.92/saat | **39,0 GB** → 1× L40S · $0.82/saat | **19,5 GB** → 1× RTX 4090 · $0.28/saat |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4.61/saat | **84 GB** → 1× H200 · $3.07/saat | **42 GB** → 1× L40S · $0.82/saat |
| Qwen2.5 72B (72.7B) | **174,5 GB** → 1× B200 · $4.61/saat | **87,2 GB** → 1× H200 · $3.07/saat | **43.6 GB** → 1× L40S · $0.82/saat |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/saat | **486 GB** → 4× H200 · $12.28/saat | **243 GB** → 2× H200 · $6.14/saat |

*Fiyatlar 29 Ekim 2026 tarihinde kontrol edildi.*

Hesaplama: BF16'da 70B = 70 × 2 = 140 GB, × 1.2 = 168 GB. A100'de FP8 Tensor Core yok, bu yüzden FP8 hücreleri Ada, Hopper veya Blackwell GPU'larına işaret eder. GPU boyutları: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 ve H100 80 GB, H200 141 GB, B200 180 GB.

## Zaten nicemlenmiş (quantized) olarak yayımlanan modeller ne kadar VRAM gerektirir?

Bazı modeller kendi kompakt formatlarında gelir, bu yüzden ağırlıklar hesaplanmak yerine Hugging Face üzerinden ölçülür. Mixture-of-experts (MoE) modelleri her token için birkaç uzmanı etkinleştirir: bu hesaplamayı azaltır, belleği değil, çünkü her uzmanın VRAM'de durması gerekir.

| Model | Toplam / aktif parametre | Yayımlandığı şekliyle ağırlıklar | × 1.2 | En küçük uygun | Saat başına GPUwithCrypto |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65.3 GB (MXFP4 MoE ağırlıkları) | 78.3 GB | 1× H100 80GB (kart: "tek bir 80GB GPU") | $2.32/saat |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1,128 GB) | $24.56/saat |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB (FP4 uzmanlar + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/saat |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB (FP4 uzmanlar + FP8) | 1,037.6 GB | 8× H200 (1,128 GB) | $24.56/saat |

*Fiyatlar 29 Ekim 2026 tarihinde kontrol edildi.*

V4 ağırlıkları = her deepseek-ai deposundaki safetensors dosyalarının toplam boyutu, 29 Ekim 2026'da okundu. Sunum motorları V4 Flash için daha büyük yerleşimler belgeliyor (SGLang'ın cookbook'unda 4× H200): bkz. [DeepSeek V4 rehberi](https://gpuwithcrypto.com/tr/guides/run-deepseek-v4-on-cloud-gpu/ "DeepSeek V4'ü bulut GPU'da nasıl çalıştırırım?").

## Uzun bağlam ne kadar VRAM ekler?

Uzun bir bağlam KV cache ekler: katman başına, KV head başına, token başına iki vektör (key ve value). BF16'da Llama 3.1 70B için (Llama 3 makalesine göre 80 katman, 128 değerli 8 KV head): 2 × 80 × 8 × 128 × 2 bayt = token başına 327,680 bayt. Bu nedenle 128K token'lık tek bir konuşma (131,072 token) 42.9 GB gerektirir.

Bunu FP8 ağırlıklara ekleyin: 70 + 42.9 = 112.9 GB, hâlâ tek bir H200. Aynı anda dört böyle konuşma 70 + 4 × 42.9 = 241.6 GB gerektirir, yani iki H200. FP8 KV cache bu cache rakamlarını yarıya indirir. DeepSeek modelleri attention cache'ini sıkıştırır, bu yüzden bu formül onlara uygulanmaz.

### Konuşma başına KV cache ne kadar (BF16)?

| Model | Token başına | 8K token | 32K token | 128K token |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## Bir LLM'i fine-tune etmek için ne kadar VRAM gerekir?

Tam fine-tuning, aktivasyonlardan önce parametre başına 16 ila 18 bayt gerektirir. EleutherAI 2 bayt ağırlık, 12 bayt optimizer durumu (FP32 kopyasıyla) ve 2 bayt gradyan sayıyor; Hugging Face ise 6 + 8 + 4 = 18 sayıyor. LoRA temel modeli dondurur, bu yüzden BF16 bir temel için parametre başına yaklaşık 2 bayt gerektirir; LoRA makalesi tam fine-tuning'e kıyasla GPU belleğinde 3× azalma bildiriyor. LoRA'daki × 1.2 planlama payımız bizim kendi kuralımızdır. QLoRA temeli 4-bit olarak yükler: yazarları 65B'lik bir modeli tek bir 48 GB GPU'da fine-tune etti, 48 ÷ 65 = milyar parametre başına 0.74 GB, 0.75'e yuvarlanmış. Her yöntemin 70B'lik bir modele uygulanması: [Llama 70B fine-tune etmek için en iyi GPU](https://gpuwithcrypto.com/tr/best-gpu-for/fine-tuning-llama-70b/ "Llama 70B'yi fine-tune etmek için en iyi GPU hangisi (LoRA, QLoRA, full)?").

### Her fine-tuning yöntemine hangi GPU uyar?

Yukarıdaki kurallara göre bellek → GPU'larımızdaki en küçük uygun seçenek → saatlik fiyat (29 Ekim 2026). Aktivasyonlar bunun üstüne gelir; gradient checkpointing bunları azaltır.

| Model | Tam fine-tune (16–18 B/param) | LoRA (BF16 temel × 1.2) | QLoRA (B başına 0.75 GB) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4.61/saat | 19.2 GB → 1× RTX 4090 · $0.28/saat | 6 GB → 1× RTX 4090 · $0.28/saat |
| Qwen2.5 32B | 520–585 GB → 4× B200 · saat başına $18.44 | 78 GB → 1× A100 80GB · $0.92/saat | 24.4 GB → 1× RTX 5090 · $0.42/saat |
| Llama 3.1 70B | 1.120–1.260 GB → 8× B200 · saat başına $36.88 | 168 GB → 1× B200 · $4.61/saat | 52,5 GB → 1× A100 80GB · $0.92/saat |
| Llama 3.1 405B | 6.480–7.290 GB → birden fazla 8 GPU'lu sunucu | 972 GB → 8× H200 · saat başına $24.56 | 304 GB → 2× B200 · saat başına $9.22 |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · saat başına $6.14 | 28.8 GB → 1× RTX 5090 · $0.42/saat | 9 GB → 1× RTX 4090 · $0.28/saat |

*Fiyatlar 29 Ekim 2026 tarihinde kontrol edildi.*

## GPU sayısı neden 2'den 4'e, oradan 8'e sıçrıyor?

Tensor paralelliği her katmanın attention head'lerini GPU'lara eşit şekilde böler. vLLM, head sayısı GPU sayısına tam bölünmediğinde başlamayı reddeder. Llama 3.1 70B'de 64 attention head vardır; bu yüzden 2, 4 veya 8 GPU çalışır, 3 çalışmaz. Üç adet 80 GB H100 (240 GB) kâğıt üzerinde 168 GB'lık bir modeli barındırır ama kullanılabilir bir yerleşim değildir; dördü öyledir. Instance'larda host'a bağlı olarak 1 ila 8 GPU bulunur. Başlamadan önce dashboard her host'un ülkesini, GPU sayısını, form faktörünü (SXM veya PCIe) ve ara bağlantısını gösterir.

## Doğru GPU saatte ne kadar tutar?

Faturanızı diğer tüm seçeneklerden çok hassasiyet değiştirir. Llama 3.1 70B, BF16'da bir B200, 4-bit'te ise bir L40S gerektirir. GPUwithCrypto'nın 29 Ekim 2026 tarihli fiyat kontrolüne göre bu iki GPU için en düşük self-servis talep üzerine fiyatlar saat başına $5.43 ve $0.97 idi: 4-bit, saatlik maliyeti %82 düşürüyor. Bizim fiyatlarımızda bu ikili $4.61/saat ve $0.82/saat tutuyor. Taahhüt vermeden önce 4-bit çıktıyı kendi prompt'larınızda test edin. Her GPU ve saat bloğu [fiyatlandırma sayfasında](https://gpuwithcrypto.com/tr/pricing/ "GPUwithCrypto üzerinde bir bulut GPU saati ne kadar?").

## VRAM soruları

### 70B'lik bir modeli çalıştırmak için ne kadar VRAM gerekir?

%20 ek yük kuralıyla FP16/BF16'da yaklaşık 168 GB, FP8'de 84 GB ve 4-bit'te 42 GB. Bu da bir B200, bir H200 veya bir 48 GB L40S demektir. 128K token'lık bir konuşma, Llama 3.1 70B'de 42,9 GB BF16 KV cache ekler.

### 7B'lik bir modeli fine-tune etmek için ne kadar VRAM gerekir?

7B'lik bir modelde full fine-tuning, aktivasyonlardan önce 112 ila 126 GB gerektirir (parametre başına 16 ila 18 bayt). LoRA yaklaşık 16,8 GB (7 × 2 × 1,2) ve QLoRA yaklaşık 5,3 GB (7 × 0,75) gerektirir; yani ikisi de 24 GB'lık bir RTX 4090'a sığar.

### LoRA eğitmek için ne kadar VRAM gerekir?

Bir LLM için BF16 tabanla milyar parametre başına yaklaşık 2,4 GB, 4-bit tabanla (QLoRA) 0,75 GB. Transformer'ı 12B parametreye sahip olan FLUX.1 [dev] için bu, LoRA'da yaklaşık 28,8 GB (bir RTX 5090) ve QLoRA'da 9 GB anlamına gelir.

### DeepSeek V4 Flash ve V4 Pro ne kadar VRAM gerektirir?

Yayımlanan ağırlıkları Hugging Face'te 159,6 GB (Flash, 284B parametre) ve 864,7 GB (Pro, 1,6T) tutuyor. %20 ek yükle bu 191,5 GB ve 1.037,6 GB eder: en az iki H200 ve sekiz H200. Komutlar [DeepSeek V4 rehberinde](https://gpuwithcrypto.com/tr/guides/run-deepseek-v4-on-cloud-gpu/ "DeepSeek V4'ü bulut GPU'da nasıl çalıştırırım?") var.

### 70B'lik bir modeli tek bir RTX 4090'da çalıştırabilir miyim?

VRAM'e tamamen sığmaz: 4-bit'te bile ağırlıklar 35 GB tutar, yani 24 GB'ından fazla. Katmanları sistem RAM'ine offload eden araçlar çalıştırır, ancak o zaman her token PCIe üzerinden yapılan transferleri bekler. Tek bir 48 GB L40S onu 4-bit'te barındırır.

### GPU'nun parasını kripto ile ödeyebilir miyim?

Evet. GPUwithCrypto, bir $1 bakiyesi yüklemesinden BTC, USDT, USDC, ETH, SOL, LTC, XMR kabul eder; kimlik yok, kart yok. Instances, çalıştıkları sürece saatlik ücret üzerinden dakika başına faturalandırılır ve o GPU için satın aldığınız GPU-saatlerden düşülür. Bir instance durdurulduğunda ücretlendirme anında durur.

## Kaynaklar

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Tablo 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Llama 3.1 70B model kartı](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Mistral 7B duyurusu](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Qwen2.5-32B-Instruct model kartı](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct model kartı](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [gpt-oss-120b model kartı](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 model kartı](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [DeepSeek-V4-Flash model kartı ve dosyaları](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [DeepSeek-V4-Pro model kartı ve dosyaları](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Attention head sayısı tensor paralellik boyutuna tam bölünmelidir (tartışma #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [NVIDIA H200 teknik özellikleri](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto, bulut GPU'ları (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 ve RTX 5090) dakikasına göre, KYC olmadan kripto ile ödeme alarak kiralar; her GPU, 29 Ekim 2026 tarihinde okunan adı belirtilmiş bir on-demand referans fiyatın en az %15 altında fiyatlandırılır.