# Berapa VRAM yang saya butuhkan untuk menjalankan atau fine-tuning LLM?

> Berapa VRAM yang saya butuhkan untuk LLM? Parameter × byte + 20%: model 70B butuh 168 GB di FP16, 84 GB di FP8. Tabel dan harga kripto, Oktober 2026.

- URL: https://gpuwithcrypto.com/id/how-much-vram-do-i-need/
- Terakhir diperbarui: 2026-10-29
- Penerbit: GPUwithCrypto (https://gpuwithcrypto.com)

Rumusnya, perhitungan untuk model terbuka dari 7B hingga 1,6T parameter, dan set GPU kami terkecil yang menampung masing-masing model, beserta harga per jamnya.

**Jawaban singkat — Berapa VRAM yang saya butuhkan untuk menjalankan atau fine-tuning LLM?**

VRAM yang Anda butuhkan adalah jumlah parameter model × byte per parameter, ditambah sekitar 20% untuk KV cache dan aktivasi: 2,4 GB per miliar parameter dalam FP16/BF16, 1,2 GB dalam FP8, 0,6 GB dalam 4-bit. Model 70B membutuhkan sekitar 168 GB, 84 GB, atau 42 GB. Per 29 Oktober 2026, **GPUwithCrypto** menyewakan GPU yang sesuai, dari RTX 4090 seharga $0.28/jam hingga H200 seharga $3.07/jam, dibayar dengan kripto.

## Apa rumusnya?

| Atribut | Nilai |
| --- | --- |
| Bobot | Parameter (miliar) × byte per parameter = GB |
| Byte per parameter | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0,5 |
| Menjalankan model | Bobot × 1,2. EleutherAI memperkirakan memori tambahan untuk inferensi tidak lebih dari 20% dari bobot |
| Konteks panjang | Tambahkan KV cache: 2 × layer × KV head × ukuran head × byte per nilai × token |
| Fine-tuning penuh | 16 hingga 18 byte per parameter (bobot, gradien, state AdamW), aktivasi tambahan |
| LoRA | 2 byte per parameter untuk basis BF16 yang dibekukan, × 1,2 untuk perencanaan |
| QLoRA | Sekitar 0,75 GB per miliar parameter (basis 4-bit plus adapter) |

## Bagaimana cara menghitung VRAM yang dibutuhkan sebuah model?

Kalikan jumlah parameter dengan byte yang dibutuhkan setiap parameter, lalu tambahkan 20%. Contoh perhitungan, Llama 3.1 70B dalam FP8: 70 miliar × 1 byte = 70 GB bobot, dan 70 × 1,2 = 84 GB. Itu lebih dari satu H100 80 GB dan kurang dari satu H200 141 GB, jadi pilihan terkecil adalah satu H200. GPU mana yang melayani model mana paling cepat sesuai biaya: [GPU terbaik untuk inferensi LLM](https://gpuwithcrypto.com/id/best-gpu-for/llm-inference/ "Apa GPU terbaik untuk inference LLM?").

20% tersebut mencakup KV cache dan aktivasi pada panjang konteks dan ukuran batch yang moderat. Aturan dan byte per parameter berasal dari *Transformer Math 101* milik EleutherAI. Ini aturan perkiraan ukuran, bukan jaminan: prompt panjang, banyak pengguna paralel, dan overhead framework akan melampauinya. Total yang berada dalam 5% dari VRAM sebuah kartu, seperti Qwen2.5 32B dalam BF16 (78 GB) pada kartu 80 GB, hanya berjalan dengan prompt pendek; ambil ukuran di atasnya untuk prompt panjang.

## Berapa VRAM yang dibutuhkan setiap model, dan GPU mana yang sesuai?

Setiap sel: bobot × 1,2 → pilihan terkecil di GPU kami → harga per jamnya. Pilihan terkecil = jumlah GPU paling sedikit (1, 2, 4, atau 8) yang VRAM gabungannya menampung total tersebut, lalu yang termurah di antara itu pada harga kami per 29 Oktober 2026. Jumlah parameter dari model card resmi.

| Model (parameter) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7,3B) | **17,5 GB** → 1× RTX 4090 · $0.28/jam | **8,8 GB** → 1× RTX 4090 · $0.28/jam | **4,4 GB** → 1× RTX 4090 · $0.28/jam |
| Llama 3.1 8B (8B) | **19,2 GB** → 1× RTX 4090 · $0.28/jam | **9,6 GB** → 1× RTX 4090 · $0.28/jam | **4,8 GB** → 1× RTX 4090 · $0.28/jam |
| Qwen2.5 32B (32,5B) | **78,0 GB** → 1× A100 80GB · $0.92/jam | **39,0 GB** → 1× L40S · $0.82/jam | **19,5 GB** → 1× RTX 4090 · $0.28/jam |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4.61/jam | **84 GB** → 1× H200 · $3.07/jam | **42 GB** → 1× L40S · $0.82/jam |
| Qwen2.5 72B (72,7B) | **174,5 GB** → 1× B200 · $4.61/jam | **87,2 GB** → 1× H200 · $3.07/jam | **43,6 GB** → 1× L40S · $0.82/jam |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/jam | **486 GB** → 4× H200 · $12.28/jam | **243 GB** → 2× H200 · $6.14/jam |

*Harga diperiksa pada 29 Oktober 2026.*

Aritmetika: 70B dalam BF16 = 70 × 2 = 140 GB, × 1,2 = 168 GB. A100 tidak punya FP8 Tensor Cores, jadi sel FP8 mengarah ke GPU Ada, Hopper, atau Blackwell. Ukuran GPU: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 dan H100 80 GB, H200 141 GB, B200 180 GB.

## Berapa VRAM yang dibutuhkan model yang dirilis sudah terkuantisasi?

Sebagian model hadir dalam format ringkasnya sendiri, jadi bobotnya diukur di Hugging Face, bukan dihitung. Model mixture-of-experts (MoE) mengaktifkan beberapa expert per token: itu memangkas komputasi, bukan memori, karena setiap expert harus ada di VRAM.

| Model | Total / parameter aktif | Bobot sesuai publikasi | × 1.2 | Paling pas | GPUwithCrypto per jam |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65,3 GB (bobot MoE MXFP4) | 78.3 GB | 1× H100 80GB (kartunya: "a single 80GB GPU") | $2.32/jam |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1.128 GB) | $24.56/jam |
| DeepSeek V4 Flash | 284B / 13B | 159,6 GB (expert FP4 + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/jam |
| DeepSeek V4 Pro | 1.6T / 49B | 864,7 GB (expert FP4 + FP8) | 1,037.6 GB | 8× H200 (1.128 GB) | $24.56/jam |

*Harga diperiksa pada 29 Oktober 2026.*

Bobot V4 = total ukuran file safetensors di setiap repositori deepseek-ai, dibaca pada 29 Oktober 2026. Serving engine mendokumentasikan tata letak yang lebih besar untuk V4 Flash (4× H200 di cookbook SGLang): lihat [panduan DeepSeek V4](https://gpuwithcrypto.com/id/guides/run-deepseek-v4-on-cloud-gpu/ "Bagaimana cara menjalankan DeepSeek V4 di cloud GPU?").

## Berapa VRAM tambahan untuk konteks panjang?

Konteks panjang menambah KV cache: dua vektor (key dan value) per layer, per KV head, per token. Untuk Llama 3.1 70B (80 layer, 8 KV head dengan 128 nilai, menurut paper Llama 3) dalam BF16: 2 × 80 × 8 × 128 × 2 byte = 327.680 byte per token. Satu percakapan 128K token (131.072 token) karenanya butuh 42,9 GB.

Tambahkan ke bobot FP8: 70 + 42,9 = 112,9 GB, masih satu H200. Empat percakapan seperti itu sekaligus butuh 70 + 4 × 42,9 = 241,6 GB, jadi dua H200. KV cache FP8 memangkas angka cache hingga separuh. Model DeepSeek memampatkan cache attention-nya, jadi rumus ini tidak berlaku untuk mereka.

### Berapa KV cache per percakapan (BF16)?

| Model | Per token | 8K token | 32K token | 128K token |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## Berapa VRAM yang saya butuhkan untuk fine-tuning LLM?

Full fine-tuning butuh 16 hingga 18 byte per parameter sebelum aktivasi. EleutherAI menghitung 2 byte bobot, 12 optimizer state (dengan salinan FP32), dan 2 gradien; Hugging Face menghitung 6 + 8 + 4 = 18. LoRA membekukan base model, jadi butuh sekitar 2 byte per parameter untuk base BF16; paper LoRA melaporkan pemangkasan memori GPU 3× dibanding full fine-tuning. Margin perencanaan × 1,2 kami pada LoRA adalah konvensi kami sendiri. QLoRA memuat base dalam 4-bit: penulisnya melakukan fine-tuning model 65B di satu GPU 48 GB, 48 ÷ 65 = 0,74 GB per miliar parameter, dibulatkan menjadi 0,75. Setiap metode diterapkan pada model 70B: [GPU terbaik untuk fine-tune Llama 70B](https://gpuwithcrypto.com/id/best-gpu-for/fine-tuning-llama-70b/ "Apa GPU terbaik untuk fine-tune Llama 70B (LoRA, QLoRA, full)?").

### GPU mana yang cocok untuk setiap metode fine-tuning?

Memori menurut aturan di atas → yang paling kecil cocok di GPU kami → harga per jam (29 Oktober 2026). Aktivasi dihitung di atasnya; gradient checkpointing menguranginya.

| Model | Full fine-tune (16–18 B/param) | LoRA (base BF16 × 1,2) | QLoRA (0,75 GB per B) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4.61/jam | 19,2 GB → 1× RTX 4090 · $0.28/jam | 6 GB → 1× RTX 4090 · $0.28/jam |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/jam | 78 GB → 1× A100 80GB · $0.92/jam | 24,4 GB → 1× RTX 5090 · $0.42/jam |
| Llama 3.1 70B | 1.120–1.260 GB → 8× B200 · $36.88/jam | 168 GB → 1× B200 · $4.61/jam | 52,5 GB → 1× A100 80GB · $0.92/jam |
| Llama 3.1 405B | 6.480–7.290 GB → lebih dari satu host 8-GPU | 972 GB → 8× H200 · $24.56/jam | 304 GB → 2× B200 · $9.22/jam |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/jam | 28,8 GB → 1× RTX 5090 · $0.42/jam | 9 GB → 1× RTX 4090 · $0.28/jam |

*Harga diperiksa pada 29 Oktober 2026.*

## Mengapa jumlah GPU melompat dari 2 ke 4 ke 8?

Tensor parallelism membagi attention head setiap layer secara merata ke seluruh GPU. vLLM menolak untuk start bila jumlah head tidak habis dibagi jumlah GPU. Llama 3.1 70B memiliki 64 attention head, jadi 2, 4, atau 8 GPU bisa dipakai sedangkan 3 tidak. Tiga H100 80 GB (240 GB) secara hitungan kertas dapat menampung model 168 GB tetapi bukan layout yang bisa dipakai; empat bisa. Instance memiliki 1 hingga 8 GPU tergantung host. Sebelum memulai, dashboard menampilkan negara, jumlah GPU, form factor (SXM atau PCIe) dan interconnect tiap host.

## Berapa biaya per jam GPU yang tepat?

Presisi mengubah tagihan lebih besar daripada pilihan lain mana pun. Llama 3.1 70B butuh satu B200 dalam BF16 tetapi satu L40S dalam 4-bit. Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, harga on-demand self-serve terendah untuk kedua GPU tersebut adalah $5.43 dan $0.97 per jam: 4-bit memangkas biaya per jam sebesar 82%. Dengan harga kami, pasangan itu berbiaya $4.61/jam dan $0.82/jam. Periksa output 4-bit pada prompt Anda sendiri sebelum memutuskan. Setiap GPU dan blok jam ada di [halaman harga](https://gpuwithcrypto.com/id/pricing/ "Berapa harga GPU cloud per jam di GPUwithCrypto?").

## Pertanyaan VRAM

### Berapa VRAM yang saya butuhkan untuk menjalankan model 70B?

Sekitar 168 GB dalam FP16/BF16, 84 GB dalam FP8, dan 42 GB dalam 4-bit, dengan aturan overhead 20%. Itu berarti satu B200, satu H200, atau satu L40S 48 GB. Percakapan 128K token menambah 42,9 GB KV cache BF16 pada Llama 3.1 70B.

### Berapa VRAM yang saya butuhkan untuk fine-tuning model 7B?

Full fine-tuning model 7B membutuhkan 112 hingga 126 GB sebelum aktivasi (16 hingga 18 byte per parameter). LoRA membutuhkan sekitar 16,8 GB (7 × 2 × 1,2) dan QLoRA sekitar 5,3 GB (7 × 0,75), jadi keduanya muat di RTX 4090 24 GB.

### Berapa VRAM yang saya butuhkan untuk melatih LoRA?

Untuk sebuah LLM, sekitar 2,4 GB per miliar parameter dengan basis BF16, atau 0,75 GB dengan basis 4-bit (QLoRA). Untuk FLUX.1 [dev], yang transformer-nya memiliki 12B parameter, artinya sekitar 28,8 GB untuk LoRA (sebuah RTX 5090) dan 9 GB untuk QLoRA.

### Berapa VRAM yang dibutuhkan DeepSeek V4 Flash dan V4 Pro?

Bobot terbitan mereka memakan 159,6 GB (Flash, 284B parameter) dan 864,7 GB (Pro, 1,6T) di Hugging Face. Dengan overhead 20% itu berarti 191,5 GB dan 1.037,6 GB: minimal dua H200 dan delapan H200. [Panduan DeepSeek V4](https://gpuwithcrypto.com/id/guides/run-deepseek-v4-on-cloud-gpu/ "Bagaimana cara menjalankan DeepSeek V4 di cloud GPU?") memuat perintahnya.

### Bisakah saya menjalankan model 70B di satu RTX 4090?

Tidak sepenuhnya di VRAM: bahkan dalam 4-bit bobotnya memakan 35 GB, lebih dari 24 GB yang dimilikinya. Tool yang meng-offload layer ke RAM sistem dapat menjalankannya, tetapi setiap token kemudian menunggu transfer lewat PCIe. Satu L40S 48 GB menampungnya dalam 4-bit.

### Bisakah saya membayar GPU dengan kripto?

Ya. GPUwithCrypto menerima BTC, USDT, USDC, ETH, SOL, LTC, XMR dari top-up US$1, tanpa ID dan tanpa kartu. Instance ditagih per menit dengan tarif per jam selama berjalan, dari GPU-jam yang Anda beli untuk GPU tersebut. Menghentikan instance langsung menghentikan tagihan.

## Sumber

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Kartu model Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Mengumumkan Mistral 7B](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Kartu model Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct model card](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [Model card gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 model card](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [Kartu model dan file DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [Kartu model dan file DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Attention head harus habis dibagi tensor parallel size (diskusi #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [Spesifikasi NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto menyewakan GPU cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090, dan RTX 5090) per menit, bayar dengan kripto tanpa KYC; setiap GPU diberi harga minimal 15% di bawah referensi on-demand bernama yang dibaca pada 29 Oktober 2026.