तुरंत जवाब
LLM चलाने या fine-tune करने के लिए मुझे कितना VRAM चाहिए?
आपको जितनी VRAM चाहिए वह है model के parameters × प्रति parameter bytes, साथ में KV cache और activations के लिए लगभग 20%: FP16/BF16 में प्रति अरब parameters 2.4 GB, FP8 में 1.2 GB, 4-bit में 0.6 GB। 70B model को लगभग 168 GB, 84 GB या 42 GB चाहिए। 29 अक्टूबर 2026 तक, GPUwithCrypto उपयुक्त GPUs किराए पर देता है, $0.28/घंटा पर RTX 4090 से लेकर $3.07/घंटा पर H200 तक, क्रिप्टो में भुगतान।
फ़ॉर्मूला क्या है?
| वेट | Parameters (अरबों में) × प्रति parameter bytes = GB |
|---|---|
| प्रति parameter bytes | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0.5 |
| model चलाना | Weights × 1.2। EleutherAI के अनुसार inference के लिए अतिरिक्त मेमोरी weights के 20% से अधिक नहीं होती |
| लंबा context | KV cache जोड़ें: 2 × layers × KV heads × head size × प्रति value bytes × tokens |
| पूरा fine-tuning | प्रति parameter 16 से 18 bytes (weights, gradients, AdamW states), activations अलग से |
| LoRA | फ्रोज़न BF16 base के लिए प्रति parameter 2 bytes, योजना बनाने के लिए × 1.2 |
| QLoRA | प्रति अरब parameters लगभग 0.75 GB (4-bit base और adapters) |
मैं किसी model को जितनी VRAM चाहिए उसकी गणना कैसे करूँ?
parameter की संख्या को हर parameter द्वारा लिए जाने वाले bytes से गुणा करें, फिर 20% जोड़ें। उदाहरण, FP8 में Llama 3.1 70B: 70 अरब × 1 byte = 70 GB weights, और 70 × 1.2 = 84 GB। यह एक 80 GB H100 से अधिक और एक 141 GB H200 से कम है, इसलिए सबसे छोटा fit एक H200 है। कौन सा GPU किस model को पैसे के हिसाब से सबसे तेज़ परोसता है: LLM inference के लिए सबसे अच्छा GPU।
20% मामूली context length और batch size पर KV cache और activations को कवर करता है। यह नियम और प्रति parameter bytes EleutherAI के Transformer Math 101 से हैं। यह sizing का नियम है, गारंटी नहीं: लंबे prompts, कई समानांतर users और framework overhead इसे पार कर देते हैं। किसी कार्ड की VRAM के 5% के भीतर का कुल, जैसे 80 GB कार्ड पर BF16 में Qwen2.5 32B (78 GB), केवल छोटे prompts के साथ चलता है; लंबे prompts के लिए अगला साइज़ लें।
हर model को कितनी VRAM चाहिए, और कौन सा GPU fit होता है?
हर सेल: weights × 1.2 → हमारे GPUs पर सबसे छोटा fit → उसकी प्रति घंटा कीमत। सबसे छोटा fit = सबसे कम GPUs (1, 2, 4 या 8) जिनकी संयुक्त VRAM कुल को होल्ड करती है, फिर 29 अक्टूबर 2026 की हमारी कीमतों पर उनमें से सबसे सस्ता। parameter की संख्याएँ आधिकारिक model cards से।
| Model (parameters) | FP16 / BF16 | FP8 / INT8 | 4-bit |
|---|---|---|---|
| Mistral 7B (7.3B) | 17.5 GB → 1× RTX 4090 · $0.28/घंटा | 8.8 GB → 1× RTX 4090 · $0.28/घंटा | 4.4 GB → 1× RTX 4090 · $0.28/घंटा |
| Llama 3.1 8B (8B) | 19.2 GB → 1× RTX 4090 · $0.28/घंटा | 9.6 GB → 1× RTX 4090 · $0.28/घंटा | 4.8 GB → 1× RTX 4090 · $0.28/घंटा |
| Qwen2.5 32B (32.5B) | 78.0 GB → 1× A100 80GB · $0.92/घंटा | 39.0 GB → 1× L40S · $0.82/घंटा | 19.5 GB → 1× RTX 4090 · $0.28/घंटा |
| Llama 3.1 70B (70B) | 168 GB → 1× B200 · $4.61/घंटा | 84 GB → 1× H200 · $3.07/घंटा | 42 GB → 1× L40S · $0.82/घंटा |
| Qwen2.5 72B (72.7B) | 174.5 GB → 1× B200 · $4.61/घंटा | 87.2 GB → 1× H200 · $3.07/घंटा | 43.6 GB → 1× L40S · $0.82/घंटा |
| Llama 3.1 405B (405B) | 972 GB → 8× H200 · $24.56/घंटा | 486 GB → 4× H200 · $12.28/घंटा | 243 GB → 2× H200 · $6.14/घंटा |
कीमतें को जांची गईं
गणना: BF16 में 70B = 70 × 2 = 140 GB, × 1.2 = 168 GB. A100 में FP8 Tensor Cores नहीं हैं, इसलिए FP8 वाले सेल Ada, Hopper या Blackwell GPUs की ओर इशारा करते हैं. GPU आकार: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 और H100 80 GB, H200 141 GB, B200 180 GB.
पहले से क्वांटाइज़्ड जारी हुए मॉडलों को कितना VRAM चाहिए?
कुछ मॉडल अपने ही कॉम्पैक्ट फ़ॉर्मेट में आते हैं, इसलिए वेट्स की गणना करने के बजाय उन्हें Hugging Face पर मापा जाता है. Mixture-of-experts (MoE) मॉडल प्रति token कुछ ही experts सक्रिय करते हैं: इससे compute घटता है, memory नहीं, क्योंकि हर expert को VRAM में रहना ही होता है.
| Model | कुल / सक्रिय parameters | जैसे प्रकाशित हैं वैसे weights | × 1.2 | Smallest fit | GPUwithCrypto प्रति घंटा |
|---|---|---|---|---|---|
| gpt-oss-120b | 117B / 5.1B | 65.3 GB (MXFP4 MoE weights) | 78.3 GB | 1× H100 80GB (कार्ड: "a single 80GB GPU") | $2.32/घंटा |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1,128 GB) | $24.56/घंटा |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB (FP4 experts + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/घंटा |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB (FP4 experts + FP8) | 1,037.6 GB | 8× H200 (1,128 GB) | $24.56/घंटा |
कीमतें को जांची गईं
V4 weights = हर deepseek-ai repository की safetensors फ़ाइलों का कुल आकार, 29 अक्टूबर 2026 को पढ़ा गया. Serving engines V4 Flash के लिए बड़े layouts बताते हैं (SGLang की cookbook में 4× H200): देखें DeepSeek V4 guide.
लंबा context कितना VRAM जोड़ता है?
लंबा context KV cache जोड़ता है: प्रति layer, प्रति KV head, प्रति token दो vectors (key और value). BF16 में Llama 3.1 70B (Llama 3 paper के अनुसार 80 layers, 128 values के 8 KV heads) के लिए: 2 × 80 × 8 × 128 × 2 bytes = 327,680 bytes प्रति token. इसलिए एक 128K-token बातचीत (131,072 tokens) को 42.9 GB चाहिए.
इसे FP8 weights में जोड़ें: 70 + 42.9 = 112.9 GB, अब भी एक H200. एक साथ ऐसी चार बातचीतों को 70 + 4 × 42.9 = 241.6 GB चाहिए, यानी दो H200s. FP8 KV cache cache के आंकड़े आधे कर देता है. DeepSeek मॉडल अपना attention cache कंप्रेस करते हैं, इसलिए यह फ़ॉर्मूला उन पर लागू नहीं होता.
प्रति बातचीत KV cache (BF16) कितना है?
| Model | प्रति token | 8K tokens | 32K tokens | 128K tokens |
|---|---|---|---|---|
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |
LLM को fine-tune करने के लिए मुझे कितना VRAM चाहिए?
Full fine-tuning को activations से पहले प्रति parameter 16 से 18 bytes चाहिए. EleutherAI 2 bytes weights, 12 optimizer state (FP32 copy के साथ) और 2 gradients गिनता है; Hugging Face 6 + 8 + 4 = 18 गिनता है. LoRA base model को freeze करता है, इसलिए BF16 base के लिए इसे प्रति parameter लगभग 2 bytes चाहिए; LoRA paper full fine-tuning के मुकाबले GPU memory में 3× कटौती बताता है. LoRA पर हमारा × 1.2 planning margin हमारा अपना convention है. QLoRA base को 4-bit में लोड करता है: इसके लेखकों ने एक 48 GB GPU पर 65B मॉडल fine-tune किया, 48 ÷ 65 = 0.74 GB प्रति अरब parameters, जिसे 0.75 तक rounded किया गया. 70B मॉडल पर लागू हर तरीका: best GPU to fine-tune Llama 70B.
कौन-सा GPU किस fine-tuning तरीके में फिट होता है?
ऊपर के नियमों से memory → हमारे GPUs पर सबसे छोटा फिट → प्रति घंटा कीमत (29 अक्टूबर 2026). Activations इसके ऊपर आते हैं; gradient checkpointing उन्हें घटाता है.
| Model | Full fine-tune (16–18 B/param) | LoRA (BF16 base × 1.2) | QLoRA (प्रति B 0.75 GB) |
|---|---|---|---|
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4.61/घंटा | 19.2 GB → 1× RTX 4090 · $0.28/घंटा | 6 GB → 1× RTX 4090 · $0.28/घंटा |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/घंटा | 78 GB → 1× A100 80GB · $0.92/घंटा | 24.4 GB → 1× RTX 5090 · $0.42/घंटा |
| Llama 3.1 70B | 1,120–1,260 GB → 8× B200 · $36.88/घंटा | 168 GB → 1× B200 · $4.61/घंटा | 52.5 GB → 1× A100 80GB · $0.92/घंटा |
| Llama 3.1 405B | 6,480–7,290 GB → एक से अधिक 8-GPU होस्ट | 972 GB → 8× H200 · $24.56/घंटा | 304 GB → 2× B200 · $9.22/घंटा |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/घंटा | 28.8 GB → 1× RTX 5090 · $0.42/घंटा | 9 GB → 1× RTX 4090 · $0.28/घंटा |
कीमतें को जांची गईं
GPU की संख्या 2 से 4 और फिर 8 क्यों हो जाती है?
Tensor parallelism हर layer के attention heads को GPUs पर बराबर बाँटता है। जब head की संख्या GPU की संख्या से विभाज्य न हो, तो vLLM शुरू ही नहीं होता। Llama 3.1 70B में 64 attention heads हैं, इसलिए 2, 4 या 8 GPUs चलेंगे और 3 नहीं। तीन 80 GB H100s (240 GB) कागज़ पर 168 GB का model रख सकते हैं, लेकिन वह व्यवहार्य layout नहीं है; चार हैं। इंस्टेंस में होस्ट के आधार पर 1 से 8 GPU होते हैं। शुरू करने से पहले, dashboard हर होस्ट का देश, GPU की संख्या, form factor (SXM या PCIe) और interconnect दिखाता है।
सही GPU का प्रति घंटा खर्च कितना है?
बिल पर सबसे ज़्यादा असर precision का पड़ता है, किसी भी दूसरे विकल्प से ज़्यादा। Llama 3.1 70B को BF16 में एक B200 चाहिए, लेकिन 4-bit में एक L40S। GPUwithCrypto के 29 अक्टूबर 2026 के price check के अनुसार, उन दो GPUs के लिए सबसे कम self-serve on-demand कीमतें $5.43 और $0.97 प्रति घंटा थीं: 4-bit प्रति घंटा लागत को 82% घटा देता है। हमारी कीमतों पर यह जोड़ी $4.61/घंटा और $0.82/घंटा में पड़ती है। शुरू करने से पहले अपने prompts पर 4-bit output जाँच लें। हर GPU और घंटों का हर block pricing page पर है।
VRAM संबंधी सवाल
70B model चलाने के लिए मुझे कितना VRAM चाहिए?
20% overhead नियम के साथ लगभग 168 GB FP16/BF16 में, 84 GB FP8 में और 42 GB 4-bit में। यानी एक B200, एक H200 या एक 48 GB L40S। Llama 3.1 70B पर एक 128K-token बातचीत 42.9 GB का BF16 KV cache जोड़ती है।
7B model fine-tune करने के लिए मुझे कितना VRAM चाहिए?
7B model की full fine-tuning को activations से पहले 112 से 126 GB चाहिए (प्रति parameter 16 से 18 bytes)। LoRA को लगभग 16.8 GB (7 × 2 × 1.2) और QLoRA को लगभग 5.3 GB (7 × 0.75), इसलिए दोनों 24 GB के RTX 4090 में आ जाते हैं।
LoRA train करने के लिए मुझे कितना VRAM चाहिए?
LLM के लिए, BF16 base के साथ लगभग 2.4 GB प्रति billion parameters, या 4-bit base (QLoRA) के साथ 0.75 GB। FLUX.1 [dev] के लिए, जिसके transformer में 12B parameters हैं, इसका मतलब है LoRA के लिए लगभग 28.8 GB (एक RTX 5090) और QLoRA के लिए 9 GB।
DeepSeek V4 Flash और V4 Pro को कितना VRAM चाहिए?
Hugging Face पर उनके प्रकाशित weights 159.6 GB (Flash, 284B parameters) और 864.7 GB (Pro, 1.6T) लेते हैं। 20% overhead के साथ यह 191.5 GB और 1,037.6 GB है: कम से कम दो H200s और आठ H200s। DeepSeek V4 guide में commands हैं।
क्या मैं एक RTX 4090 पर 70B model चला सकता हूँ?
पूरी तरह VRAM में नहीं: 4-bit में भी weights 35 GB लेते हैं, जो इसके 24 GB से ज़्यादा है। जो tools layers को system RAM में offload करते हैं वे इसे चला लेते हैं, लेकिन तब हर token PCIe पर transfers का इंतज़ार करता है। एक 48 GB L40S इसे 4-bit में रख लेता है।
क्या मैं GPU के लिए crypto से भुगतान कर सकता हूँ?
हाँ। GPUwithCrypto $1 top-up से BTC, USDT, USDC, ETH, SOL, LTC, XMR लेता है, बिना ID और बिना card। इंस्टेंस चलते समय प्रति मिनट, घंटे के रेट पर बिल किए जाते हैं, उस GPU के लिए आपके खरीदे गए GPU-घंटों से। इंस्टेंस रोकने पर चार्ज तुरंत रुक जाता है।
स्रोत (15)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
- Llama 3.1 70B मॉडल कार्ड — Meta / Hugging Face (read 2026-10-29)
- Mistral 7B की घोषणा — Mistral AI (read 2026-10-29)
- Qwen2.5-32B-Instruct model card — Qwen / Hugging Face (read 2026-10-29)
- Qwen2.5-72B-Instruct model card — Qwen / Hugging Face (read 2026-10-29)
- gpt-oss-120b model card — OpenAI / Hugging Face (read 2026-10-29)
- DeepSeek-V3 model card — DeepSeek / Hugging Face (read 2026-10-29)
- DeepSeek-V4-Flash model card और फ़ाइलें — DeepSeek / Hugging Face (read 2026-10-29)
- DeepSeek-V4-Pro model card और फ़ाइलें — DeepSeek / Hugging Face (read 2026-10-29)
- Attention heads को tensor parallel size से विभाज्य होना चाहिए (चर्चा #1041) — vLLM project (read 2026-10-29)
- NVIDIA H200 specifications — NVIDIA (read 2026-10-29)