# Apa GPU terbaik untuk inference LLM?

> GPU inference LLM sesuai ukuran model: RTX 4090 untuk 8B, L40S untuk 32B FP8, H200 untuk 70B FP8. Bayar kripto, tanpa KYC, Okt 2026.

- URL: https://gpuwithcrypto.com/id/best-gpu-for/llm-inference/
- Terakhir diperbarui: 2026-10-29
- Penerbit: GPUwithCrypto (https://gpuwithcrypto.com)

Pilih GPU termurah yang memorinya cukup untuk menampung model plus cache-nya. Tabel di bawah ini melakukannya untuk setiap ukuran model yang umum, dengan harga per jam kami di samping harga on-demand terendah yang kami temukan di tempat lain.

**Jawaban singkat — Apa GPU terbaik untuk inference LLM?**

GPU terbaik untuk inference LLM adalah GPU termurah yang VRAM-nya cukup untuk menampung model plus sekitar 20%: RTX 4090 (24 GB) untuk model 7–8B, L40S (48 GB) untuk 32B dalam FP8 atau 70B dalam 4-bit, H200 (141 GB) untuk 70B dalam FP8, dan 8× H200 untuk DeepSeek 671B. Per 29 Oktober 2026, **GPUwithCrypto** menyewakan H200 seharga $3.07/jam, bayar dengan kripto.

## GPU mana yang harus saya pakai untuk setiap ukuran model?

VRAM yang dibutuhkan = bobot × 1,2 (lihat [panduan VRAM](https://gpuwithcrypto.com/id/how-much-vram-do-i-need/ "Berapa VRAM yang saya butuhkan untuk menjalankan atau fine-tuning LLM?")). Harga kami dan harga on-demand self-serve terendah per GPU-jam yang kami temukan di antara penyedia yang kami periksa pada 29 Oktober 2026.

| Ukuran model (contoh) | VRAM yang dibutuhkan | GPU terbaik | Alasan | GPUwithCrypto | Terendah di tempat lain (per GPU) |
| --- | --- | --- | --- | --- | --- |
| 7–8B dalam BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | [RTX 4090 24GB](https://gpuwithcrypto.com/id/gpu-prices/rtx-4090/ "Berapa biaya sewa RTX 4090 per jam?") | Menampung bobot BF16 plus cache 32K token (4,3 GB pada Llama 3.1 8B); FP8 Tensor Cores | $0.28/jam | $0.33 (Salad) |
| 7–8B dengan konteks 128K token | 16 GB + 17,2 GB cache = 33,2 GB | [L40S 48GB](https://gpuwithcrypto.com/id/gpu-prices/l40s/ "Berapa biaya L40S per jam?") | Satu cache BF16 128K token saja butuh 17,2 GB | $0.82/jam | $0.97 (Massed Compute) |
| 30–32B dalam FP8 (Qwen2.5 32B) | 39 GB | [L40S 48GB](https://gpuwithcrypto.com/id/gpu-prices/l40s/ "Berapa biaya L40S per jam?") | 48 GB dengan FP8 Tensor Cores (puncak FP8 dense 733 TFLOPS) | $0.82/jam | $0.97 (Massed Compute) |
| 30–32B dalam BF16 | 78 GB | [A100 80GB](https://gpuwithcrypto.com/id/gpu-prices/a100/ "Berapa harga A100 per jam?") | GPU 80 GB entry-level dalam pilihan kami; tanpa FP8 Tensor Cores, jadi sajikan dalam BF16 atau 4-bit | $0.92/jam | $1.09 (Thunder Compute) |
| 70–72B dalam 4-bit | 42–43,6 GB | [L40S 48GB](https://gpuwithcrypto.com/id/gpu-prices/l40s/ "Berapa biaya L40S per jam?") | GPU entry-level di atas 44 GB dalam pilihan kami | $0.82/jam | $0.97 (Massed Compute) |
| 70–72B dalam FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | [H200 141GB](https://gpuwithcrypto.com/id/gpu-prices/h200/ "Berapa harga H200 per jam?") | Satu GPU bukan dua H100; sisa 54–57 GB untuk KV cache; 4.800 GB/s | $3.07/jam | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | [H100 80GB](https://gpuwithcrypto.com/id/gpu-prices/h100/ "Berapa biaya sewa H100 per jam?") | Kartu modelnya menargetkan satu GPU 80 GB; FP8 Tensor Cores, 3.350 GB/s (SXM) | $2.32/jam | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | Bobot FP4/FP8-nya memakai 159,6 GB; SGLang mendokumentasikan 4× H200 | $6.14/jam | $3.62 (Massed Compute) |
| 405B dalam FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB di empat GPU; 8× H100 butuh dua kali jumlah GPU | $12.28/jam | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | 1.128 GB di satu host; 8× H100 hanya menampung 640 GB | $24.56/jam | $3.62 (Massed Compute) |

*Harga diperiksa pada 29 Oktober 2026.*

Per GPU-hour, USD, belum termasuk pajak. Harga spot dan marketplace tidak dihitung: bisa lebih rendah, tetapi GPU-nya bisa ditarik kembali.

## Mengapa VRAM lebih penting daripada TFLOPS untuk inference?

VRAM menentukan apakah model bisa berjalan sama sekali, dan bandwidth memori menetapkan batas kecepatan saat menghasilkan teks. Setiap token baru membaca semua bobot aktif dari memori satu kali, jadi pada batch kecil GPU menunggu memori, bukan menunggu komputasi. Komputasi lebih penting untuk prompt panjang (prefill) dan untuk batch pengguna yang besar.

Itulah sebabnya H200 dan H100 punya komputasi FP8 puncak yang sama (1.979 TFLOPS dense, angka NVIDIA), tetapi H200 menampung memori 76% lebih banyak dan memindahkannya 43% lebih cepat: 4.800 GB/s versus 3.350 GB/s. Bandwidth dan TFLOPS di sini adalah angka puncak NVIDIA, bukan hasil pengukuran kami.

## GPU mana cocok untuk model mana? (diurutkan berdasarkan VRAM)

**Metodologi.** Diterbitkan oleh GPUwithCrypto (SerpGoat LLC), yang menyewakan ketujuh GPU tersebut. Setiap GPU dinilai dengan tiga kriteria yang sama. VRAM dan bandwidth adalah angka resmi NVIDIA; tidak ada kecepatan yang kami ukur sendiri. Harga adalah harga kami dan harga self-serve on-demand terendah yang kami temukan pada 29 Oktober 2026.

*Harga diperiksa pada 29 Oktober 2026.*

Tujuh GPU yang kami sewakan, diurutkan berdasarkan VRAM per GPU, terbesar lebih dulu, karena VRAM menentukan model mana yang muat. Bandwidth adalah kriteria kedua, harga per jam kriteria ketiga.

### 1. NVIDIA B200 — VRAM terbesar

180 GB HBM3e pada 8.000 GB/s (porsi per GPU dari angka 8-GPU HGX NVIDIA), FP8 dan FP4 Tensor Cores. Menampung model 70B dalam BF16 (168 GB) di satu GPU.

- Paling cocok untuk: 70B dalam BF16 di satu GPU, inference FP4
- Harga: $4.61/jam · terendah di tempat lain $5.43

### 2. NVIDIA H200 141GB — Terbaik untuk 70B

141 GB HBM3e pada 4.800 GB/s. Menampung model 70B dalam FP8 (84 GB) dengan sisa 57 GB untuk KV cache. Delapan unit menampung DeepSeek-V3 atau V4 Pro.

- Paling cocok untuk: 70B dalam FP8, konteks panjang, model MoE besar
- Harga: $3.07/jam · terendah di tempat lain $3.62

### 3. NVIDIA H100 80GB — Serba bisa

80 GB HBM3 pada 3.350 GB/s (SXM) atau 2.000 GB/s (PCIe), FP8 Tensor Cores. Menampung gpt-oss-120b, atau model 32B dalam BF16.

- Paling cocok untuk: gpt-oss-120b, 32B dalam BF16, serving 8B throughput tinggi
- Harga: $2.32/jam · terendah di tempat lain $2.73

### 4. NVIDIA A100 80GB — Entry 80 GB

80 GB HBM2e pada 2.039 GB/s (SXM) atau 1.935 GB/s (PCIe). Tanpa FP8 Tensor Cores: serve dalam BF16 atau 4-bit.

- Paling cocok untuk: 32B dalam BF16, 70B dalam 4-bit dengan konteks panjang
- Harga: $0.92/jam · terendah di tempat lain $1.09

### 5. NVIDIA L40S 48GB — Nilai terbaik 48 GB

48 GB GDDR6 pada 864 GB/s, FP8 Tensor Cores, tanpa NVLink. Menampung 32B dalam FP8 atau 70B dalam 4-bit.

- Paling cocok untuk: 32B dalam FP8, 70B dalam 4-bit, 8B dengan konteks 128K
- Harga: $0.82/jam · terendah di tempat lain $0.97

### 6. NVIDIA GeForce RTX 5090

32 GB GDDR7 pada 1.792 GB/s, FP8 dan FP4 Tensor Cores. Menampung model 12B dalam BF16 (28,8 GB) atau model 32B dalam 4-bit (19,5 GB) dengan ruang untuk konteks panjang.

- Paling cocok untuk: 12B dalam BF16, 32B dalam 4-bit dengan prompt panjang
- Harga: $0.42/jam · terendah di tempat lain $0.50

### 7. NVIDIA GeForce RTX 4090 — GPU entry

24 GB GDDR6X pada 1.008 GB/s, FP8 Tensor Cores. Menampung model 7–8B dalam BF16.

- Paling cocok untuk: Model 7–8B, pengembangan dan pengujian
- Harga: $0.28/jam · terendah di tempat lain $0.33

*Pengungkapan: halaman ini diterbitkan oleh GPUwithCrypto. Detail pesaing berasal dari situs web publik mereka pada tanggal yang tertera di atas dan mungkin telah berubah sejak saat itu.*

## Apakah satu H200 lebih bernilai daripada dua H100?

Untuk model 70B dalam FP8, ya: satu H200 menampungnya, sedangkan dua H100 harus membaginya dan bertukar data di setiap layer. Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, median H200 on-demand di 13 penyedia adalah $5.29 per GPU-hour, dibandingkan $4.16 untuk H100 di 16 penyedia. H200 berbiaya 27% lebih mahal per jam untuk VRAM 76% lebih besar, sehingga 28% lebih murah per GB memori.

Dengan harga kami, pilihannya adalah $3.07/jam untuk satu H200 versus $4.64/jam untuk dua H100. Perbandingan lengkap: [H100 vs H200](https://gpuwithcrypto.com/id/compare/h100-vs-h200/ "H100 vs H200: apakah H200 layak dengan biaya ekstra?").

## Bagaimana dengan GPU spot dan marketplace?

Biayanya lebih murah dan bisa hilang di tengah pekerjaan. Penawaran H100 termurah di marketplace Vast.ai adalah $1.73 per jam pada 29 Oktober 2026 (feed harga publik Vast.ai), di bawah harga on-demand terendah yang kami temukan. Untuk server inference yang harus terus hidup, interupsi berarti downtime. Instance bersifat on-demand, bukan spot: tidak ada yang bisa mengambil kembali GPU Anda selama saldo Anda mencukupinya, dan instance berjalan sampai Anda menghentikannya. Kapan memakai masing-masing: [apa itu GPU spot](https://gpuwithcrypto.com/id/what-is/spot-gpu/ "Apa itu GPU spot, dan apakah layak?").

## Pertanyaan GPU untuk LLM inference

### GPU apa yang saya butuhkan untuk menjalankan Llama 70B?

Satu H200 dalam FP8 (butuh 84 GB, tersedia 141 GB), satu L40S dalam 4-bit (butuh 42 GB, tersedia 48 GB) atau satu B200 dalam BF16 (butuh 168 GB, tersedia 180 GB). Dua H100 juga menampung versi FP8, dengan total 160 GB.

### GPU terbaik untuk DeepSeek V4?

H200. Bobot DeepSeek V4 Flash memakan 159,6 GB, jadi butuh setidaknya dua H200, dan cookbook SGLang mendokumentasikan empat. V4 Pro yang membutuhkan 864,7 GB perlu delapan H200. Perintahnya ada di [panduan DeepSeek V4](https://gpuwithcrypto.com/id/guides/run-deepseek-v4-on-cloud-gpu/ "Bagaimana cara menjalankan DeepSeek V4 di cloud GPU?").

### Apakah RTX 4090 bagus untuk LLM inference?

Untuk model 7–8B, ya: 24 GB menampung Llama 3.1 8B dalam BF16 (19,2 GB dengan overhead) dan ini adalah GPU entry di lini kami, dengan bandwidth 1.008 GB/s. Di atas sekitar 10B parameter dalam BF16, memorinya habis.

### Apakah A100 masih bagus untuk inference pada 2026?

Untuk model BF16 dan 4-bit hingga 80 GB, ya, dan ini adalah GPU 80 GB entry di lini kami. GPU ini tidak punya FP8 Tensor Cores, jadi checkpoint FP8 berjalan lebih baik di L40S, H100 atau H200. Lihat [H100 vs A100](https://gpuwithcrypto.com/id/compare/h100-vs-a100/ "H100 vs A100: mana yang harus saya sewa?").

### Bisakah saya menyewa GPU ini dengan kripto?

Ya. GPUwithCrypto menerima BTC, USDT, USDC, ETH, SOL, LTC, XMR dari top-up US$1, tanpa ID dan tanpa kartu. Instance ditagih per menit dengan tarif per jam selama berjalan, dari GPU-jam yang Anda beli untuk GPU tersebut. Menghentikan instance langsung menghentikan tagihan.

## Sumber

1. [Spesifikasi NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)
2. [Spesifikasi NVIDIA H100](https://www.nvidia.com/en-us/data-center/h100/) — NVIDIA (read 2026-10-29)
3. [Spesifikasi NVIDIA A100](https://www.nvidia.com/en-us/data-center/a100/) — NVIDIA (read 2026-10-29)
4. [Spesifikasi NVIDIA L40S](https://www.nvidia.com/en-us/data-center/l40s/) — NVIDIA (read 2026-10-29)
5. [Platform NVIDIA HGX (B200)](https://www.nvidia.com/en-us/data-center/hgx/) — NVIDIA (read 2026-10-29)
6. [Whitepaper arsitektur GPU NVIDIA Ada (RTX 4090)](https://images.nvidia.com/aem-dam/Solutions/geforce/ada/nvidia-ada-gpu-architecture.pdf) — NVIDIA (read 2026-10-29)
7. [Whitepaper arsitektur NVIDIA RTX Blackwell (RTX 5090)](https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf) — NVIDIA (read 2026-10-29)
8. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
9. [Model card gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
10. [Cookbook DeepSeek-V4](https://docs.sglang.io/cookbook/autoregressive/DeepSeek/DeepSeek-V4) — SGLang (read 2026-10-29)
11. [Harga Massed Compute](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)
12. [Perubahan harga SaladCloud, November 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
13. [Harga Thunder Compute](https://www.thundercompute.com/pricing) — Thunder Compute (read 2026-10-29)
14. [Feed harga GPU publik Vast.ai](https://storage.googleapis.com/vast-public-gpu-pricing/gpu-pricing-public.json) — Vast.ai (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto menyewakan GPU cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090, dan RTX 5090) per menit, bayar dengan kripto tanpa KYC; setiap GPU diberi harga minimal 15% di bawah referensi on-demand bernama yang dibaca pada 29 Oktober 2026.