तुरंत जवाब
LLM inference के लिए सबसे अच्छा GPU कौन सा है?
LLM inference के लिए सबसे अच्छा GPU वह सबसे सस्ता है जिसकी VRAM मॉडल और उसके लगभग 20% को रख सके: 7–8B मॉडल के लिए RTX 4090 (24 GB), FP8 में 32B या 4-bit में 70B के लिए L40S (48 GB), FP8 में 70B के लिए H200 (141 GB), और 671B DeepSeek के लिए 8× H200। 29 अक्टूबर 2026 तक, GPUwithCrypto H200 को $3.07/घंटा में किराए पर देता है, भुगतान क्रिप्टो में।
मुझे हर मॉडल साइज़ के लिए कौन सा GPU इस्तेमाल करना चाहिए?
VRAM ज़रूरत = weights × 1.2 (VRAM गाइड देखें)। हमारा दाम और 29 अक्टूबर 2026 को हमारे जाँचे गए providers में मिला सबसे कम self-serve on-demand दाम प्रति GPU-घंटा।
| मॉडल साइज़ (उदाहरण) | VRAM ज़रूरत | सबसे अच्छा GPU | क्यों | GPUwithCrypto | बाहर सबसे कम (प्रति GPU) |
|---|---|---|---|---|---|
| BF16 में 7–8B (Llama 3.1 8B, Mistral 7B) | 17.5–19.2 GB | RTX 4090 24GB | BF16 weights और 32K-token कैश रखता है (Llama 3.1 8B पर 4.3 GB); FP8 Tensor Cores | $0.28/घंटा | $0.33 (Salad) |
| 128K-token कॉन्टेक्स्ट के साथ 7–8B | 16 GB + 17.2 GB कैश = 33.2 GB | L40S 48GB | अकेले एक 128K-token BF16 कैश को ही 17.2 GB चाहिए | $0.82/घंटा | $0.97 (Massed Compute) |
| FP8 में 30–32B (Qwen2.5 32B) | 39 GB | L40S 48GB | FP8 Tensor Cores के साथ 48 GB (733 TFLOPS dense FP8 peak) | $0.82/घंटा | $0.97 (Massed Compute) |
| BF16 में 30–32B | 78 GB | A100 80GB | हमारी रेंज में एंट्री 80 GB GPU; FP8 Tensor Cores नहीं, इसलिए BF16 या 4-bit में सर्व करें | $0.92/घंटा | $1.09 (Thunder Compute) |
| 4-bit में 70–72B | 42–43.6 GB | L40S 48GB | हमारी रेंज में 44 GB से ऊपर एंट्री GPU | $0.82/घंटा | $0.97 (Massed Compute) |
| FP8 में 70–72B (Llama 3.1 70B, Qwen2.5 72B) | 84–87.2 GB | H200 141GB | दो H100 के बजाय एक GPU; KV cache के लिए 54–57 GB बचा; 4,800 GB/s | $3.07/घंटा | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | इसका model card एक ही 80 GB GPU को लक्षित करता है; FP8 Tensor Cores, 3,350 GB/s (SXM) | $2.32/घंटा | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | इसके FP4/FP8 weights 159.6 GB लेते हैं; SGLang 4× H200 बताता है | $6.14/घंटा | $3.62 (Massed Compute) |
| FP8 में 405B (Llama 3.1 405B) | 486 GB | 4× H200 | चार GPU पर 564 GB; 8× H100 को दोगुनी GPU संख्या चाहिए | $12.28/घंटा | $3.62 (Massed Compute) |
| 671B–1.6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1,037.6 GB | 8× H200 | एक ही होस्ट पर 1,128 GB; 8× H100 में सिर्फ 640 GB आता है | $24.56/घंटा | $3.62 (Massed Compute) |
कीमतें को जांची गईं
प्रति GPU-घंटा, USD में, करों को छोड़कर। Spot और marketplace की कीमतें नहीं गिनी गई हैं: वे कम हो सकती हैं, लेकिन GPU वापस लिया जा सकता है।
inference के लिए VRAM TFLOPS से ज़्यादा क्यों मायने रखता है?
VRAM तय करता है कि model चलेगा भी या नहीं, और memory bandwidth टेक्स्ट जनरेट करने की गति की सीमा तय करती है। हर नया token हर सक्रिय weight को memory से एक बार पढ़ता है, इसलिए छोटे batch size पर GPU memory का इंतज़ार करता है, गणित का नहीं। Compute का महत्व लंबे prompts (prefill) और उपयोगकर्ताओं के बड़े batches के लिए ज़्यादा है।
इसीलिए H200 और H100 का peak FP8 compute एक ही है (1,979 TFLOPS dense, NVIDIA के आंकड़े), लेकिन H200 में 76% ज़्यादा memory होती है और वह इसे 43% तेज़ी से आगे बढ़ाती है: 4,800 GB/s बनाम 3,350 GB/s। यहाँ bandwidth और TFLOPS NVIDIA के peak आंकड़े हैं, हमारे मापे हुए नहीं।
कौन-सा GPU किस model के लिए सही है? (VRAM के अनुसार क्रम में)
हमारे किराए पर दिए जाने वाले सात GPU, प्रति GPU VRAM के हिसाब से, सबसे बड़े से पहले, क्योंकि VRAM तय करता है कि कौन-सा model फिट होगा। Bandwidth दूसरा मानदंड है, प्रति घंटा कीमत तीसरा।
-
1
NVIDIA B200
सबसे ज़्यादा VRAM8,000 GB/s पर 180 GB HBM3e (NVIDIA के 8-GPU HGX आंकड़ों में प्रति-GPU हिस्सा), FP8 और FP4 Tensor Cores। एक ही GPU पर BF16 में 70B model (168 GB) आ जाता है।
-
4,800 GB/s पर 141 GB HBM3e। FP8 में 70B model (84 GB) आ जाता है और KV cache के लिए 57 GB बचता है। इनमें से आठ DeepSeek-V3 या V4 Pro रखते हैं।
-
3,350 GB/s (SXM) या 2,000 GB/s (PCIe) पर 80 GB HBM3, FP8 Tensor Cores। gpt-oss-120b, या BF16 में 32B model आ जाता है।
-
2,039 GB/s (SXM) या 1,935 GB/s (PCIe) पर 80 GB HBM2e। FP8 Tensor Cores नहीं: BF16 या 4-bit में serve करें।
-
864 GB/s पर 48 GB GDDR6, FP8 Tensor Cores, NVLink नहीं। FP8 में 32B या 4-bit में 70B आ जाता है।
-
1,792 GB/s पर 32 GB GDDR7, FP8 और FP4 Tensor Cores। BF16 में 12B मॉडल (28.8 GB) या 4-bit में 32B मॉडल (19.5 GB) रखता है, लंबे context के लिए जगह बचती है।
-
1,008 GB/s पर 24 GB GDDR6X, FP8 Tensor Cores। BF16 में 7–8B मॉडल रखता है।
प्रकटीकरण: यह पेज GPUwithCrypto द्वारा प्रकाशित किया गया है। प्रतिस्पर्धियों का विवरण ऊपर दिखाई गई तारीख पर उनकी सार्वजनिक वेबसाइटों से लिया गया है और उसके बाद से बदल सकता है।
क्या एक H200 दो H100 से बेहतर value है?
FP8 में 70B मॉडल के लिए, हाँ: एक H200 इसे रख लेता है, जबकि दो H100 को इसे बाँटना पड़ता है और हर layer पर डेटा का आदान-प्रदान करना पड़ता है। GPUwithCrypto के 29 अक्टूबर 2026 के price check के अनुसार, 13 providers में on-demand H200 का median $5.29 प्रति GPU-hour था, जबकि 16 प्रोवाइडर में H100 का $4.16। H200 प्रति घंटा 27% अधिक महंगा है और 76% अधिक VRAM देता है, इसलिए प्रति GB मेमोरी यह 28% सस्ता है।
हमारी कीमतों पर चुनाव एक H200 के लिए $3.07/घंटा बनाम दो H100 के लिए $4.64/hour है। पूरी तुलना: H100 vs H200।
spot और marketplace GPUs के बारे में क्या?
वे सस्ते पड़ते हैं और job के बीच में गायब हो सकते हैं। Vast.ai के marketplace पर सबसे सस्ता H100 ऑफर 29 अक्टूबर 2026 को $1.73 प्रति घंटा था (Vast.ai public price feed), जो हमें मिली सबसे कम on-demand कीमत से भी नीचे है। ऐसे inference server के लिए जिसे चालू रहना है, रुकावट का मतलब downtime है। इंस्टेंस on-demand हैं, spot नहीं: जब तक आपका balance उसे कवर करता है, कोई आपका GPU वापस नहीं ले सकता, और इंस्टेंस तब तक चलता है जब तक आप उसे रोकते नहीं। कब किसका इस्तेमाल करें: what is a spot GPU।
LLM inference GPU सवाल
Llama 70B चलाने के लिए मुझे कौन सा GPU चाहिए?
FP8 में एक H200 (84 GB चाहिए, 141 GB उपलब्ध), 4-bit में एक L40S (42 GB चाहिए, 48 GB उपलब्ध) या BF16 में एक B200 (168 GB चाहिए, 180 GB उपलब्ध)। दो H100 भी FP8 वर्ज़न रख लेते हैं, कुल मिलाकर 160 GB पर।
DeepSeek V4 के लिए सबसे अच्छा GPU कौन सा है?
H200। DeepSeek V4 Flash के weights 159.6 GB लेते हैं, इसलिए इसे कम से कम दो H200 चाहिए, और SGLang cookbook चार का ज़िक्र करता है। V4 Pro के 864.7 GB के लिए आठ H200 चाहिए। Commands DeepSeek V4 guide में हैं।
क्या RTX 4090 LLM inference के लिए अच्छा है?
7–8B मॉडल के लिए, हाँ: 24 GB BF16 में Llama 3.1 8B रखता है (overhead सहित 19.2 GB) और यह हमारी रेंज का एंट्री GPU है, 1,008 GB/s bandwidth के साथ। BF16 में लगभग 10B parameters से ऊपर इसकी मेमोरी खत्म हो जाती है।
क्या 2026 में A100 अभी भी inference के लिए अच्छा है?
BF16 और 80 GB तक के 4-bit मॉडल के लिए, हाँ, और यह हमारी रेंज का एंट्री 80 GB GPU है। इसमें FP8 Tensor Cores नहीं हैं, इसलिए FP8 checkpoints L40S, H100 या H200 पर बेहतर चलते हैं। देखें H100 vs A100।
क्या मैं ये GPUs crypto से किराए पर ले सकता हूँ?
हाँ। GPUwithCrypto $1 top-up से BTC, USDT, USDC, ETH, SOL, LTC, XMR लेता है, बिना ID और बिना card। इंस्टेंस चलते समय प्रति मिनट, घंटे के रेट पर बिल किए जाते हैं, उस GPU के लिए आपके खरीदे गए GPU-घंटों से। इंस्टेंस रोकने पर चार्ज तुरंत रुक जाता है।
स्रोत (14)
- NVIDIA H200 specifications — NVIDIA (read 2026-10-29)
- NVIDIA H100 स्पेसिफिकेशन — NVIDIA (read 2026-10-29)
- NVIDIA A100 स्पेसिफिकेशन — NVIDIA (read 2026-10-29)
- NVIDIA L40S specifications — NVIDIA (read 2026-10-29)
- NVIDIA HGX platform (B200) — NVIDIA (read 2026-10-29)
- NVIDIA Ada GPU आर्किटेक्चर व्हाइटपेपर (RTX 4090) — NVIDIA (read 2026-10-29)
- NVIDIA RTX Blackwell आर्किटेक्चर whitepaper (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- gpt-oss-120b model card — OpenAI / Hugging Face (read 2026-10-29)
- DeepSeek-V4 cookbook — SGLang (read 2026-10-29)
- Massed Compute pricing vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- SaladCloud मूल्य परिवर्तन, नवंबर 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Thunder Compute pricing thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Vast.ai का सार्वजनिक GPU प्राइस फ़ीड — Vast.ai (read 2026-10-29)