Jawaban singkat
Apa GPU terbaik untuk inference LLM?
GPU terbaik untuk inference LLM adalah GPU termurah yang VRAM-nya cukup untuk menampung model plus sekitar 20%: RTX 4090 (24 GB) untuk model 7–8B, L40S (48 GB) untuk 32B dalam FP8 atau 70B dalam 4-bit, H200 (141 GB) untuk 70B dalam FP8, dan 8× H200 untuk DeepSeek 671B. Per 29 Oktober 2026, GPUwithCrypto menyewakan H200 seharga $3.07/jam, bayar dengan kripto.
GPU mana yang harus saya pakai untuk setiap ukuran model?
VRAM yang dibutuhkan = bobot × 1,2 (lihat panduan VRAM). Harga kami dan harga on-demand self-serve terendah per GPU-jam yang kami temukan di antara penyedia yang kami periksa pada 29 Oktober 2026.
| Ukuran model (contoh) | VRAM yang dibutuhkan | GPU terbaik | Alasan | GPUwithCrypto | Terendah di tempat lain (per GPU) |
|---|---|---|---|---|---|
| 7–8B dalam BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | RTX 4090 24GB | Menampung bobot BF16 plus cache 32K token (4,3 GB pada Llama 3.1 8B); FP8 Tensor Cores | $0.28/jam | $0.33 (Salad) |
| 7–8B dengan konteks 128K token | 16 GB + 17,2 GB cache = 33,2 GB | L40S 48GB | Satu cache BF16 128K token saja butuh 17,2 GB | $0.82/jam | $0.97 (Massed Compute) |
| 30–32B dalam FP8 (Qwen2.5 32B) | 39 GB | L40S 48GB | 48 GB dengan FP8 Tensor Cores (puncak FP8 dense 733 TFLOPS) | $0.82/jam | $0.97 (Massed Compute) |
| 30–32B dalam BF16 | 78 GB | A100 80GB | GPU 80 GB entry-level dalam pilihan kami; tanpa FP8 Tensor Cores, jadi sajikan dalam BF16 atau 4-bit | $0.92/jam | $1.09 (Thunder Compute) |
| 70–72B dalam 4-bit | 42–43,6 GB | L40S 48GB | GPU entry-level di atas 44 GB dalam pilihan kami | $0.82/jam | $0.97 (Massed Compute) |
| 70–72B dalam FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | H200 141GB | Satu GPU bukan dua H100; sisa 54–57 GB untuk KV cache; 4.800 GB/s | $3.07/jam | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | Kartu modelnya menargetkan satu GPU 80 GB; FP8 Tensor Cores, 3.350 GB/s (SXM) | $2.32/jam | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | Bobot FP4/FP8-nya memakai 159,6 GB; SGLang mendokumentasikan 4× H200 | $6.14/jam | $3.62 (Massed Compute) |
| 405B dalam FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB di empat GPU; 8× H100 butuh dua kali jumlah GPU | $12.28/jam | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | 1.128 GB di satu host; 8× H100 hanya menampung 640 GB | $24.56/jam | $3.62 (Massed Compute) |
Harga diperiksa pada
Per GPU-hour, USD, belum termasuk pajak. Harga spot dan marketplace tidak dihitung: bisa lebih rendah, tetapi GPU-nya bisa ditarik kembali.
Mengapa VRAM lebih penting daripada TFLOPS untuk inference?
VRAM menentukan apakah model bisa berjalan sama sekali, dan bandwidth memori menetapkan batas kecepatan saat menghasilkan teks. Setiap token baru membaca semua bobot aktif dari memori satu kali, jadi pada batch kecil GPU menunggu memori, bukan menunggu komputasi. Komputasi lebih penting untuk prompt panjang (prefill) dan untuk batch pengguna yang besar.
Itulah sebabnya H200 dan H100 punya komputasi FP8 puncak yang sama (1.979 TFLOPS dense, angka NVIDIA), tetapi H200 menampung memori 76% lebih banyak dan memindahkannya 43% lebih cepat: 4.800 GB/s versus 3.350 GB/s. Bandwidth dan TFLOPS di sini adalah angka puncak NVIDIA, bukan hasil pengukuran kami.
GPU mana cocok untuk model mana? (diurutkan berdasarkan VRAM)
Tujuh GPU yang kami sewakan, diurutkan berdasarkan VRAM per GPU, terbesar lebih dulu, karena VRAM menentukan model mana yang muat. Bandwidth adalah kriteria kedua, harga per jam kriteria ketiga.
-
1
NVIDIA B200
VRAM terbesar180 GB HBM3e pada 8.000 GB/s (porsi per GPU dari angka 8-GPU HGX NVIDIA), FP8 dan FP4 Tensor Cores. Menampung model 70B dalam BF16 (168 GB) di satu GPU.
-
141 GB HBM3e pada 4.800 GB/s. Menampung model 70B dalam FP8 (84 GB) dengan sisa 57 GB untuk KV cache. Delapan unit menampung DeepSeek-V3 atau V4 Pro.
-
80 GB HBM3 pada 3.350 GB/s (SXM) atau 2.000 GB/s (PCIe), FP8 Tensor Cores. Menampung gpt-oss-120b, atau model 32B dalam BF16.
-
80 GB HBM2e pada 2.039 GB/s (SXM) atau 1.935 GB/s (PCIe). Tanpa FP8 Tensor Cores: serve dalam BF16 atau 4-bit.
-
48 GB GDDR6 pada 864 GB/s, FP8 Tensor Cores, tanpa NVLink. Menampung 32B dalam FP8 atau 70B dalam 4-bit.
-
32 GB GDDR7 pada 1.792 GB/s, FP8 dan FP4 Tensor Cores. Menampung model 12B dalam BF16 (28,8 GB) atau model 32B dalam 4-bit (19,5 GB) dengan ruang untuk konteks panjang.
-
24 GB GDDR6X pada 1.008 GB/s, FP8 Tensor Cores. Menampung model 7–8B dalam BF16.
Pengungkapan: halaman ini diterbitkan oleh GPUwithCrypto. Detail pesaing berasal dari situs web publik mereka pada tanggal yang tertera di atas dan mungkin telah berubah sejak saat itu.
Apakah satu H200 lebih bernilai daripada dua H100?
Untuk model 70B dalam FP8, ya: satu H200 menampungnya, sedangkan dua H100 harus membaginya dan bertukar data di setiap layer. Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, median H200 on-demand di 13 penyedia adalah $5.29 per GPU-hour, dibandingkan $4.16 untuk H100 di 16 penyedia. H200 berbiaya 27% lebih mahal per jam untuk VRAM 76% lebih besar, sehingga 28% lebih murah per GB memori.
Dengan harga kami, pilihannya adalah $3.07/jam untuk satu H200 versus $4.64/jam untuk dua H100. Perbandingan lengkap: H100 vs H200.
Bagaimana dengan GPU spot dan marketplace?
Biayanya lebih murah dan bisa hilang di tengah pekerjaan. Penawaran H100 termurah di marketplace Vast.ai adalah $1.73 per jam pada 29 Oktober 2026 (feed harga publik Vast.ai), di bawah harga on-demand terendah yang kami temukan. Untuk server inference yang harus terus hidup, interupsi berarti downtime. Instance bersifat on-demand, bukan spot: tidak ada yang bisa mengambil kembali GPU Anda selama saldo Anda mencukupinya, dan instance berjalan sampai Anda menghentikannya. Kapan memakai masing-masing: apa itu GPU spot.
Pertanyaan GPU untuk LLM inference
GPU apa yang saya butuhkan untuk menjalankan Llama 70B?
Satu H200 dalam FP8 (butuh 84 GB, tersedia 141 GB), satu L40S dalam 4-bit (butuh 42 GB, tersedia 48 GB) atau satu B200 dalam BF16 (butuh 168 GB, tersedia 180 GB). Dua H100 juga menampung versi FP8, dengan total 160 GB.
GPU terbaik untuk DeepSeek V4?
H200. Bobot DeepSeek V4 Flash memakan 159,6 GB, jadi butuh setidaknya dua H200, dan cookbook SGLang mendokumentasikan empat. V4 Pro yang membutuhkan 864,7 GB perlu delapan H200. Perintahnya ada di panduan DeepSeek V4.
Apakah RTX 4090 bagus untuk LLM inference?
Untuk model 7–8B, ya: 24 GB menampung Llama 3.1 8B dalam BF16 (19,2 GB dengan overhead) dan ini adalah GPU entry di lini kami, dengan bandwidth 1.008 GB/s. Di atas sekitar 10B parameter dalam BF16, memorinya habis.
Apakah A100 masih bagus untuk inference pada 2026?
Untuk model BF16 dan 4-bit hingga 80 GB, ya, dan ini adalah GPU 80 GB entry di lini kami. GPU ini tidak punya FP8 Tensor Cores, jadi checkpoint FP8 berjalan lebih baik di L40S, H100 atau H200. Lihat H100 vs A100.
Bisakah saya menyewa GPU ini dengan kripto?
Ya. GPUwithCrypto menerima BTC, USDT, USDC, ETH, SOL, LTC, XMR dari top-up US$1, tanpa ID dan tanpa kartu. Instance ditagih per menit dengan tarif per jam selama berjalan, dari GPU-jam yang Anda beli untuk GPU tersebut. Menghentikan instance langsung menghentikan tagihan.
Sumber (14)
- Spesifikasi NVIDIA H200 — NVIDIA (read 2026-10-29)
- Spesifikasi NVIDIA H100 — NVIDIA (read 2026-10-29)
- Spesifikasi NVIDIA A100 — NVIDIA (read 2026-10-29)
- Spesifikasi NVIDIA L40S — NVIDIA (read 2026-10-29)
- Platform NVIDIA HGX (B200) — NVIDIA (read 2026-10-29)
- Whitepaper arsitektur GPU NVIDIA Ada (RTX 4090) — NVIDIA (read 2026-10-29)
- Whitepaper arsitektur NVIDIA RTX Blackwell (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model card gpt-oss-120b — OpenAI / Hugging Face (read 2026-10-29)
- Cookbook DeepSeek-V4 — SGLang (read 2026-10-29)
- Harga Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Perubahan harga SaladCloud, November 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Harga Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Feed harga GPU publik Vast.ai — Vast.ai (read 2026-10-29)