# Tôi cần bao nhiêu VRAM để chạy hoặc fine-tune một LLM?

> Tôi cần bao nhiêu VRAM cho một LLM? Tham số × byte + 20%: model 70B cần 168 GB ở FP16, 84 GB ở FP8. Bảng fit và giá crypto, tháng 10 năm 2026.

- URL: https://gpuwithcrypto.com/vi/how-much-vram-do-i-need/
- Cập nhật lần cuối: 2026-10-29
- Đơn vị phát hành: GPUwithCrypto (https://gpuwithcrypto.com)

Công thức, cách tính cho các mô hình mở từ 7B đến 1.6T tham số, và bộ GPU nhỏ nhất của chúng tôi đủ chứa từng mô hình, kèm giá mỗi giờ.

**Trả lời nhanh — Tôi cần bao nhiêu VRAM để chạy hoặc fine-tune một LLM?**

VRAM bạn cần bằng số tham số của mô hình × số byte mỗi tham số, cộng thêm khoảng 20% cho KV cache và activations: 2.4 GB mỗi tỷ tham số ở FP16/BF16, 1.2 GB ở FP8, 0.6 GB ở 4-bit. Một mô hình 70B cần khoảng 168 GB, 84 GB hoặc 42 GB. Tính đến ngày 29 tháng 10 năm 2026, **GPUwithCrypto** cho thuê các GPU phù hợp, từ RTX 4090 với giá $0.28/giờ đến H200 với giá $3.07/giờ, thanh toán bằng crypto.

## Công thức là gì?

| Thuộc tính | Giá trị |
| --- | --- |
| Trọng số | Số tham số (tỷ) × số byte mỗi tham số = GB |
| Số byte mỗi tham số | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0.5 |
| Chạy một mô hình | Trọng số × 1.2. EleutherAI ước tính bộ nhớ thêm cho inference không quá 20% trọng số |
| Ngữ cảnh dài | Cộng thêm KV cache: 2 × số lớp × số KV head × kích thước head × số byte mỗi giá trị × số token |
| Full fine-tuning | 16 đến 18 byte mỗi tham số (trọng số, gradient, trạng thái AdamW), activations tính thêm |
| LoRA | 2 byte mỗi tham số cho base BF16 đóng băng, × 1.2 để lập kế hoạch |
| QLoRA | Khoảng 0.75 GB mỗi tỷ tham số (base 4-bit cộng adapter) |

## Làm thế nào để tính VRAM một mô hình cần?

Nhân số tham số với số byte mỗi tham số chiếm, rồi cộng thêm 20%. Ví dụ cụ thể, Llama 3.1 70B ở FP8: 70 tỷ × 1 byte = 70 GB trọng số, và 70 × 1.2 = 84 GB. Con số đó lớn hơn một H100 80 GB và nhỏ hơn một H200 141 GB, vậy bộ nhỏ nhất vừa đủ là một H200. GPU nào phục vụ mô hình nào nhanh nhất so với số tiền bỏ ra: [GPU tốt nhất cho LLM inference](https://gpuwithcrypto.com/vi/best-gpu-for/llm-inference/ "GPU nào tốt nhất cho LLM inference?").

Con số 20% bao gồm KV cache và activations ở độ dài ngữ cảnh và batch size vừa phải. Quy tắc và số byte mỗi tham số lấy từ *Transformer Math 101* của EleutherAI. Đây là quy tắc ước lượng kích thước, không phải bảo đảm: prompt dài, nhiều người dùng song song và chi phí của framework sẽ đẩy vượt qua mức đó. Tổng nằm trong khoảng 5% VRAM của card, như Qwen2.5 32B ở BF16 (78 GB) trên card 80 GB, chỉ chạy được với prompt ngắn; hãy chọn cỡ lớn hơn cho prompt dài.

## Mỗi mô hình cần bao nhiêu VRAM, và GPU nào phù hợp?

Mỗi ô: trọng số × 1.2 → bộ nhỏ nhất vừa đủ trên GPU của chúng tôi → giá mỗi giờ. Bộ nhỏ nhất vừa đủ = số GPU ít nhất (1, 2, 4 hoặc 8) mà tổng VRAM chứa được tổng đó, sau đó là lựa chọn rẻ nhất trong số đó theo giá của chúng tôi ngày 29 tháng 10 năm 2026. Số tham số lấy từ model card chính thức.

| Mô hình (tham số) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7.3B) | **17.5 GB** → 1× RTX 4090 · $0.28/giờ | **8.8 GB** → 1× RTX 4090 · $0.28/giờ | **4.4 GB** → 1× RTX 4090 · $0.28/giờ |
| Llama 3.1 8B (8B) | **19.2 GB** → 1× RTX 4090 · $0.28/giờ | **9.6 GB** → 1× RTX 4090 · $0.28/giờ | **4.8 GB** → 1× RTX 4090 · $0.28/giờ |
| Qwen2.5 32B (32.5B) | **78.0 GB** → 1× A100 80GB · $0.92/giờ | **39.0 GB** → 1× L40S · $0.82/giờ | **19.5 GB** → 1× RTX 4090 · $0.28/giờ |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4.61/giờ | **84 GB** → 1× H200 · $3.07/giờ | **42 GB** → 1× L40S · $0.82/giờ |
| Qwen2.5 72B (72.7B) | **174.5 GB** → 1× B200 · $4.61/giờ | **87.2 GB** → 1× H200 · $3.07/giờ | **43.6 GB** → 1× L40S · $0.82/giờ |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/giờ | **486 GB** → 4× H200 · $12.28/giờ | **243 GB** → 2× H200 · $6.14/giờ |

*Giá được kiểm tra vào 29 tháng 10, 2026.*

Tính toán: 70B ở BF16 = 70 × 2 = 140 GB, × 1.2 = 168 GB. A100 không có FP8 Tensor Cores, nên các ô FP8 trỏ tới GPU Ada, Hopper hoặc Blackwell. Dung lượng GPU: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 và H100 80 GB, H200 141 GB, B200 180 GB.

## Các mô hình phát hành đã lượng tử hóa sẵn cần bao nhiêu VRAM?

Một số mô hình phát hành ở định dạng nén riêng, nên trọng số được đo trên Hugging Face thay vì tính toán. Mô hình mixture-of-experts (MoE) chỉ kích hoạt vài expert cho mỗi token: điều đó giảm compute chứ không giảm bộ nhớ, vì mọi expert đều phải nằm trong VRAM.

| Mô hình | Tổng / tham số hoạt động | Trọng số như công bố | × 1.2 | Vừa nhỏ nhất | GPUwithCrypto mỗi giờ |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65.3 GB (trọng số MoE MXFP4) | 78.3 GB | 1× H100 80GB (theo tài liệu: "a single 80GB GPU") | $2.32/giờ |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1,128 GB) | $24.56/giờ |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB (expert FP4 + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/giờ |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB (expert FP4 + FP8) | 1,037.6 GB | 8× H200 (1,128 GB) | $24.56/giờ |

*Giá được kiểm tra vào 29 tháng 10, 2026.*

Trọng số V4 = tổng dung lượng các file safetensors trong từng repository deepseek-ai, đọc ngày 29 tháng 10 năm 2026. Các serving engine ghi nhận bố cục lớn hơn cho V4 Flash (4× H200 trong cookbook của SGLang): xem [hướng dẫn DeepSeek V4](https://gpuwithcrypto.com/vi/guides/run-deepseek-v4-on-cloud-gpu/ "Làm thế nào để chạy DeepSeek V4 trên GPU cloud?").

## Ngữ cảnh dài cộng thêm bao nhiêu VRAM?

Ngữ cảnh dài cộng thêm KV cache: hai vector (key và value) cho mỗi layer, mỗi KV head, mỗi token. Với Llama 3.1 70B (80 layer, 8 KV head 128 giá trị, theo bài báo Llama 3) ở BF16: 2 × 80 × 8 × 128 × 2 byte = 327,680 byte mỗi token. Một hội thoại 128K token (131,072 token) do đó cần 42.9 GB.

Cộng vào trọng số FP8: 70 + 42.9 = 112.9 GB, vẫn vừa một H200. Bốn hội thoại như vậy cùng lúc cần 70 + 4 × 42.9 = 241.6 GB, tức hai H200. KV cache FP8 giảm một nửa các con số cache. Các mô hình DeepSeek nén attention cache của chúng, nên công thức này không áp dụng cho chúng.

### KV cache mỗi hội thoại (BF16) là bao nhiêu?

| Mô hình | Mỗi token | 8K token | 32K token | 128K token |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## Cần bao nhiêu VRAM để fine-tune một LLM?

Full fine-tuning cần 16 đến 18 byte mỗi tham số trước khi tính activation. EleutherAI tính 2 byte trọng số, 12 byte optimizer state (kèm bản sao FP32) và 2 byte gradient; Hugging Face tính 6 + 8 + 4 = 18. LoRA đóng băng mô hình gốc, nên cần khoảng 2 byte mỗi tham số cho base BF16; bài báo LoRA báo cáo giảm 3× bộ nhớ GPU so với full fine-tuning. Biên dự phòng × 1.2 của chúng tôi trên LoRA là quy ước riêng. QLoRA nạp base ở 4-bit: nhóm tác giả đã fine-tune một mô hình 65B trên một GPU 48 GB, 48 ÷ 65 = 0.74 GB mỗi tỷ tham số, làm tròn thành 0.75. Mỗi phương pháp áp dụng cho mô hình 70B: [GPU tốt nhất để fine-tune Llama 70B](https://gpuwithcrypto.com/vi/best-gpu-for/fine-tuning-llama-70b/ "GPU nào tốt nhất để fine-tune Llama 70B (LoRA, QLoRA, full)?").

### GPU nào phù hợp với từng phương pháp fine-tuning?

Bộ nhớ theo các quy tắc trên → lựa chọn nhỏ nhất vừa trên GPU của chúng tôi → giá mỗi giờ (29 tháng 10 năm 2026). Activation cộng thêm vào; gradient checkpointing giúp giảm chúng.

| Mô hình | Full fine-tune (16–18 B/tham số) | LoRA (base BF16 × 1.2) | QLoRA (0,75 GB mỗi B) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4.61/giờ | 19,2 GB → 1× RTX 4090 · $0.28/giờ | 6 GB → 1× RTX 4090 · $0.28/giờ |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/giờ | 78 GB → 1× A100 80GB · $0.92/giờ | 24,4 GB → 1× RTX 5090 · $0.42/giờ |
| Llama 3.1 70B | 1.120–1.260 GB → 8× B200 · $36.88/giờ | 168 GB → 1× B200 · $4.61/giờ | 52,5 GB → 1× A100 80GB · $0.92/giờ |
| Llama 3.1 405B | 6.480–7.290 GB → nhiều hơn một host 8-GPU | 972 GB → 8× H200 · $24.56/giờ | 304 GB → 2× B200 · $9.22/giờ |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/giờ | 28,8 GB → 1× RTX 5090 · $0.42/giờ | 9 GB → 1× RTX 4090 · $0.28/giờ |

*Giá được kiểm tra vào 29 tháng 10, 2026.*

## Vì sao số GPU nhảy từ 2 lên 4 rồi 8?

Tensor parallelism chia đều attention head của mỗi layer trên các GPU. vLLM từ chối khởi động khi số attention head không chia hết cho số GPU. Llama 3.1 70B có 64 attention head, nên 2, 4 hoặc 8 GPU chạy được còn 3 thì không. Ba H100 80 GB (240 GB) trên lý thuyết chứa được model 168 GB nhưng không phải cách bố trí dùng được; bốn thì được. Instance có từ 1 đến 8 GPU tùy theo máy chủ. Trước khi bắt đầu, dashboard hiển thị quốc gia của từng máy chủ, số GPU, kiểu khe cắm (SXM hoặc PCIe) và kết nối giữa các GPU.

## GPU phù hợp tốn bao nhiêu mỗi giờ?

Độ chính xác (precision) làm thay đổi hóa đơn nhiều hơn mọi lựa chọn khác. Llama 3.1 70B cần một B200 ở BF16 nhưng chỉ cần một L40S ở 4-bit. Theo kiểm tra giá của GPUwithCrypto ngày 29 tháng 10 năm 2026, giá self-serve on-demand thấp nhất cho hai GPU đó là $5.43 và $0.97 mỗi giờ: 4-bit cắt 82% chi phí mỗi giờ. Với giá của chúng tôi, cặp đó tốn $4.61/giờ và $0.82/giờ. Hãy kiểm tra đầu ra 4-bit trên prompt của riêng bạn trước khi cam kết. Mọi GPU và block giờ đều có trên [trang giá](https://gpuwithcrypto.com/vi/pricing/ "Một GPU cloud tốn bao nhiêu mỗi giờ tại GPUwithCrypto?").

## Câu hỏi về VRAM

### Tôi cần bao nhiêu VRAM để chạy model 70B?

Khoảng 168 GB ở FP16/BF16, 84 GB ở FP8 và 42 GB ở 4-bit, với quy tắc dự phòng 20%. Đó là một B200, một H200 hoặc một L40S 48 GB. Một cuộc hội thoại 128K token thêm 42,9 GB KV cache BF16 trên Llama 3.1 70B.

### Tôi cần bao nhiêu VRAM để fine-tune model 7B?

Full fine-tuning model 7B cần 112 đến 126 GB trước khi tính activation (16 đến 18 byte mỗi tham số). LoRA cần khoảng 16,8 GB (7 × 2 × 1,2) và QLoRA khoảng 5,3 GB (7 × 0,75), nên cả hai vừa một RTX 4090 24 GB.

### Tôi cần bao nhiêu VRAM để train một LoRA?

Với một LLM, khoảng 2,4 GB mỗi tỷ tham số với base BF16, hoặc 0,75 GB với base 4-bit (QLoRA). Với FLUX.1 [dev], có transformer 12B tham số, nghĩa là khoảng 28,8 GB cho LoRA (một RTX 5090) và 9 GB cho QLoRA.

### DeepSeek V4 Flash và V4 Pro cần bao nhiêu VRAM?

Trọng số đã công bố của chúng chiếm 159,6 GB (Flash, 284B tham số) và 864,7 GB (Pro, 1,6T) trên Hugging Face. Với dự phòng 20% thì đó là 191,5 GB và 1.037,6 GB: tối thiểu hai H200 và tám H200. [Hướng dẫn DeepSeek V4](https://gpuwithcrypto.com/vi/guides/run-deepseek-v4-on-cloud-gpu/ "Làm thế nào để chạy DeepSeek V4 trên GPU cloud?") có các lệnh.

### Tôi có thể chạy model 70B trên một RTX 4090 không?

Không hoàn toàn trong VRAM: ngay cả ở 4-bit trọng số đã chiếm 35 GB, nhiều hơn 24 GB của nó. Các công cụ offload layer sang RAM hệ thống vẫn chạy được, nhưng mỗi token phải chờ truyền qua PCIe. Một L40S 48 GB chứa được nó ở 4-bit.

### Tôi có thể trả tiền GPU bằng crypto không?

Có. GPUwithCrypto nhận BTC, USDT, USDC, ETH, SOL, LTC, XMR từ một lần nạp 1 US$, không cần ID và không cần thẻ. Instance được tính tiền theo phút với mức giá theo giờ trong khi chạy, trừ vào số GPU-giờ bạn đã mua cho GPU đó. Dừng instance là dừng tính tiền ngay lập tức.

## Nguồn

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Bảng 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Thẻ model Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Ra mắt Mistral 7B](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Model card Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Thẻ mô hình Qwen2.5-72B-Instruct](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [model card gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [Thẻ mô hình DeepSeek-V3](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [Model card và file của DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [Model card và file của DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [Attention head phải chia hết cho tensor parallel size (thảo luận #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [Thông số kỹ thuật NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto cho thuê GPU trên cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 và RTX 5090) theo phút, thanh toán bằng crypto và không cần KYC; mỗi GPU có giá thấp hơn ít nhất 15% so với một mức giá tham chiếu on-demand có nêu tên, đọc ngày 29 tháng 10 năm 2026.