Berapa VRAM yang saya butuhkan untuk menjalankan atau fine-tuning LLM?

Bagaimana cara menghitung VRAM yang dibutuhkan sebuah model?

Kalikan jumlah parameter dengan byte yang dibutuhkan setiap parameter, lalu tambahkan 20%. Contoh perhitungan, Llama 3.1 70B dalam FP8: 70 miliar × 1 byte = 70 GB bobot, dan 70 × 1,2 = 84 GB. Itu lebih dari satu H100 80 GB dan kurang dari satu H200 141 GB, jadi pilihan terkecil adalah satu H200. GPU mana yang melayani model mana paling cepat sesuai biaya: GPU terbaik untuk inferensi LLM.

20% tersebut mencakup KV cache dan aktivasi pada panjang konteks dan ukuran batch yang moderat. Aturan dan byte per parameter berasal dari Transformer Math 101 milik EleutherAI. Ini aturan perkiraan ukuran, bukan jaminan: prompt panjang, banyak pengguna paralel, dan overhead framework akan melampauinya. Total yang berada dalam 5% dari VRAM sebuah kartu, seperti Qwen2.5 32B dalam BF16 (78 GB) pada kartu 80 GB, hanya berjalan dengan prompt pendek; ambil ukuran di atasnya untuk prompt panjang.

Berapa VRAM tambahan untuk konteks panjang?

Konteks panjang menambah KV cache: dua vektor (key dan value) per layer, per KV head, per token. Untuk Llama 3.1 70B (80 layer, 8 KV head dengan 128 nilai, menurut paper Llama 3) dalam BF16: 2 × 80 × 8 × 128 × 2 byte = 327.680 byte per token. Satu percakapan 128K token (131.072 token) karenanya butuh 42,9 GB.

Tambahkan ke bobot FP8: 70 + 42,9 = 112,9 GB, masih satu H200. Empat percakapan seperti itu sekaligus butuh 70 + 4 × 42,9 = 241,6 GB, jadi dua H200. KV cache FP8 memangkas angka cache hingga separuh. Model DeepSeek memampatkan cache attention-nya, jadi rumus ini tidak berlaku untuk mereka.

Berapa VRAM yang saya butuhkan untuk fine-tuning LLM?

Full fine-tuning butuh 16 hingga 18 byte per parameter sebelum aktivasi. EleutherAI menghitung 2 byte bobot, 12 optimizer state (dengan salinan FP32), dan 2 gradien; Hugging Face menghitung 6 + 8 + 4 = 18. LoRA membekukan base model, jadi butuh sekitar 2 byte per parameter untuk base BF16; paper LoRA melaporkan pemangkasan memori GPU 3× dibanding full fine-tuning. Margin perencanaan × 1,2 kami pada LoRA adalah konvensi kami sendiri. QLoRA memuat base dalam 4-bit: penulisnya melakukan fine-tuning model 65B di satu GPU 48 GB, 48 ÷ 65 = 0,74 GB per miliar parameter, dibulatkan menjadi 0,75. Setiap metode diterapkan pada model 70B: GPU terbaik untuk fine-tune Llama 70B.

Mengapa jumlah GPU melompat dari 2 ke 4 ke 8?

Tensor parallelism membagi attention head setiap layer secara merata ke seluruh GPU. vLLM menolak untuk start bila jumlah head tidak habis dibagi jumlah GPU. Llama 3.1 70B memiliki 64 attention head, jadi 2, 4, atau 8 GPU bisa dipakai sedangkan 3 tidak. Tiga H100 80 GB (240 GB) secara hitungan kertas dapat menampung model 168 GB tetapi bukan layout yang bisa dipakai; empat bisa. Instance memiliki 1 hingga 8 GPU tergantung host. Sebelum memulai, dashboard menampilkan negara, jumlah GPU, form factor (SXM atau PCIe) dan interconnect tiap host.

Berapa biaya per jam GPU yang tepat?

Presisi mengubah tagihan lebih besar daripada pilihan lain mana pun. Llama 3.1 70B butuh satu B200 dalam BF16 tetapi satu L40S dalam 4-bit. Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, harga on-demand self-serve terendah untuk kedua GPU tersebut adalah $5.43 dan $0.97 per jam: 4-bit memangkas biaya per jam sebesar 82%. Dengan harga kami, pasangan itu berbiaya $4.61/jam dan $0.82/jam. Periksa output 4-bit pada prompt Anda sendiri sebelum memutuskan. Setiap GPU dan blok jam ada di halaman harga.