Trả lời nhanh
GPU nào tốt nhất cho LLM inference?
GPU tốt nhất cho LLM inference là GPU rẻ nhất có VRAM chứa được model cộng thêm khoảng 20%: RTX 4090 (24 GB) cho model 7–8B, L40S (48 GB) cho 32B ở FP8 hoặc 70B ở 4-bit, H200 (141 GB) cho 70B ở FP8, và 8× H200 cho 671B DeepSeek. Tính đến ngày 29 tháng 10 năm 2026, GPUwithCrypto cho thuê H200 với giá $3.07/giờ, thanh toán bằng crypto.
Tôi nên dùng GPU nào cho từng kích thước model?
VRAM cần thiết = trọng số × 1.2 (xem hướng dẫn VRAM). Giá của chúng tôi và mức giá on-demand tự phục vụ thấp nhất trên mỗi GPU-giờ mà chúng tôi tìm thấy trong số các nhà cung cấp đã kiểm tra ngày 29 tháng 10 năm 2026.
| Kích thước model (ví dụ) | VRAM cần thiết | GPU tốt nhất | Lý do | GPUwithCrypto | Thấp nhất ở nơi khác (mỗi GPU) |
|---|---|---|---|---|---|
| 7–8B ở BF16 (Llama 3.1 8B, Mistral 7B) | 17,5–19,2 GB | RTX 4090 24GB | Chứa được trọng số BF16 cộng thêm cache 32K token (4,3 GB trên Llama 3.1 8B); Tensor Cores FP8 | $0.28/giờ | $0.33 (Salad) |
| 7–8B với ngữ cảnh 128K token | 16 GB + 17,2 GB cache = 33,2 GB | L40S 48GB | Chỉ riêng một cache BF16 128K token đã cần 17,2 GB | $0.82/giờ | $0.97 (Massed Compute) |
| 30–32B ở FP8 (Qwen2.5 32B) | 39 GB | L40S 48GB | 48 GB với Tensor Cores FP8 (đỉnh FP8 dense 733 TFLOPS) | $0.82/giờ | $0.97 (Massed Compute) |
| 30–32B ở BF16 | 78 GB | A100 80GB | GPU 80 GB khởi điểm trong danh mục của chúng tôi; không có Tensor Cores FP8, nên phục vụ BF16 hoặc 4-bit | $0.92/giờ | $1.09 (Thunder Compute) |
| 70–72B ở 4-bit | 42–43,6 GB | L40S 48GB | GPU khởi điểm trên 44 GB trong danh mục của chúng tôi | $0.82/giờ | $0.97 (Massed Compute) |
| 70–72B ở FP8 (Llama 3.1 70B, Qwen2.5 72B) | 84–87,2 GB | H200 141GB | Một GPU thay vì hai H100; còn 54–57 GB cho KV cache; 4.800 GB/s | $3.07/giờ | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | Model card của nó nhắm tới một GPU 80 GB duy nhất; FP8 Tensor Cores, 3.350 GB/s (SXM) | $2.32/giờ | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | Trọng số FP4/FP8 của nó chiếm 159,6 GB; SGLang ghi nhận 4× H200 | $6.14/giờ | $3.62 (Massed Compute) |
| 405B ở FP8 (Llama 3.1 405B) | 486 GB | 4× H200 | 564 GB trên bốn GPU; 8× H100 sẽ cần gấp đôi số GPU | $12.28/giờ | $3.62 (Massed Compute) |
| 671B–1,6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1.037,6 GB | 8× H200 | 1.128 GB trên một host; 8× H100 chỉ chứa được 640 GB | $24.56/giờ | $3.62 (Massed Compute) |
Giá được kiểm tra vào
Tính theo GPU-giờ, USD, chưa gồm thuế. Không tính giá spot và giá trên marketplace: chúng có thể thấp hơn, nhưng GPU có thể bị thu hồi.
Vì sao VRAM quan trọng hơn TFLOPS khi suy luận?
VRAM quyết định model có chạy được hay không, còn băng thông bộ nhớ đặt giới hạn tốc độ sinh văn bản. Mỗi token mới đọc toàn bộ trọng số đang hoạt động từ bộ nhớ một lần, nên với batch nhỏ GPU phải chờ bộ nhớ chứ không chờ tính toán. Sức tính toán quan trọng hơn với prompt dài (prefill) và với batch người dùng lớn.
Đó là lý do H200 và H100 có cùng hiệu năng FP8 đỉnh (1.979 TFLOPS dense, số liệu của NVIDIA) nhưng H200 chứa nhiều bộ nhớ hơn 76% và truyền nhanh hơn 43%: 4.800 GB/s so với 3.350 GB/s. Băng thông và TFLOPS ở đây là số liệu đỉnh của NVIDIA, không phải đo đạc của chúng tôi.
GPU nào hợp với model nào? (xếp theo VRAM)
Bảy GPU chúng tôi cho thuê, liệt kê theo VRAM mỗi GPU, lớn nhất trước, vì VRAM quyết định model nào vừa. Băng thông là tiêu chí thứ hai, giá mỗi giờ là thứ ba.
-
1
NVIDIA B200
Nhiều VRAM nhất180 GB HBM3e ở 8.000 GB/s (phần chia mỗi GPU theo số liệu 8-GPU HGX của NVIDIA), FP8 và FP4 Tensor Cores. Chứa một model 70B ở BF16 (168 GB) trên một GPU.
-
141 GB HBM3e ở 4.800 GB/s. Chứa một model 70B ở FP8 (84 GB) còn 57 GB cho KV cache. Tám con như vậy chứa được DeepSeek-V3 hoặc V4 Pro.
-
80 GB HBM3 ở 3.350 GB/s (SXM) hoặc 2.000 GB/s (PCIe), FP8 Tensor Cores. Chứa gpt-oss-120b, hoặc một model 32B ở BF16.
-
80 GB HBM2e ở 2.039 GB/s (SXM) hoặc 1.935 GB/s (PCIe). Không có FP8 Tensor Cores: phục vụ BF16 hoặc 4-bit.
-
48 GB GDDR6 ở 864 GB/s, FP8 Tensor Cores, không có NVLink. Chứa 32B ở FP8 hoặc 70B ở 4-bit.
-
32 GB GDDR7 ở 1.792 GB/s, Tensor Cores FP8 và FP4. Chứa được mô hình 12B ở BF16 (28,8 GB) hoặc mô hình 32B ở 4-bit (19,5 GB) với chỗ trống cho ngữ cảnh dài.
-
24 GB GDDR6X ở 1.008 GB/s, Tensor Cores FP8. Chứa được mô hình 7–8B ở BF16.
Công bố: trang này được xuất bản bởi GPUwithCrypto. Thông tin về đối thủ cạnh tranh lấy từ trang web công khai của họ tại ngày nêu trên và có thể đã thay đổi kể từ đó.
Một H200 có đáng tiền hơn hai H100 không?
Với mô hình 70B ở FP8 thì có: một H200 chứa được nó, còn hai H100 phải chia nó ra và trao đổi dữ liệu ở mỗi lớp. Theo đợt kiểm tra giá ngày 29 tháng 10 năm 2026 của GPUwithCrypto, giá on-demand trung vị của H200 trên 13 nhà cung cấp là $5.29 mỗi GPU-giờ, so với $4.16 của H100 trên 16 nhà cung cấp. H200 đắt hơn 27% mỗi giờ để có thêm 76% VRAM, tức là rẻ hơn 28% tính trên mỗi GB bộ nhớ.
Theo giá của chúng tôi, lựa chọn là $3.07/giờ cho một H200 so với $4.64/giờ cho hai H100. So sánh đầy đủ: H100 vs H200.
Còn GPU spot và marketplace thì sao?
Chúng rẻ hơn và có thể biến mất giữa chừng công việc. Ưu đãi H100 rẻ nhất trên marketplace của Vast.ai là $1.73 mỗi giờ vào ngày 29 tháng 10 năm 2026 (nguồn giá công khai của Vast.ai), thấp hơn mức on-demand thấp nhất mà chúng tôi tìm được. Với một máy chủ inference phải chạy liên tục, gián đoạn nghĩa là downtime. Instance là on-demand, không phải spot: không ai có thể lấy lại GPU của bạn khi số dư của bạn còn đủ, và instance chạy cho đến khi bạn dừng nó. Khi nào dùng loại nào: GPU spot là gì.
Câu hỏi về GPU cho LLM inference
Cần GPU nào để chạy Llama 70B?
Một H200 ở FP8 (cần 84 GB, có 141 GB), một L40S ở 4-bit (cần 42 GB, có 48 GB) hoặc một B200 ở BF16 (cần 168 GB, có 180 GB). Hai H100 cũng chứa được bản FP8, với tổng cộng 160 GB.
GPU nào tốt nhất cho DeepSeek V4?
H200. Trọng số của DeepSeek V4 Flash chiếm 159,6 GB, nên cần ít nhất hai H200, và cookbook SGLang ghi nhận bốn. V4 Pro cần 864,7 GB, tức tám H200. Các lệnh nằm trong hướng dẫn DeepSeek V4.
RTX 4090 có tốt cho LLM inference không?
Với mô hình 7–8B thì có: 24 GB chứa được Llama 3.1 8B ở BF16 (19,2 GB tính cả overhead) và đây là GPU khởi điểm trong dải của chúng tôi, với băng thông 1.008 GB/s. Vượt quá khoảng 10B tham số ở BF16 là hết bộ nhớ.
A100 còn tốt cho inference vào năm 2026 không?
Với mô hình BF16 và 4-bit tối đa 80 GB thì có, và đây là GPU 80 GB khởi điểm trong dải của chúng tôi. Nó không có Tensor Cores FP8, nên checkpoint FP8 chạy tốt hơn trên L40S, H100 hoặc H200. Xem H100 vs A100.
Tôi có thể thuê những GPU này bằng crypto không?
Có. GPUwithCrypto nhận BTC, USDT, USDC, ETH, SOL, LTC, XMR từ một lần nạp 1 US$, không cần ID và không cần thẻ. Instance được tính tiền theo phút với mức giá theo giờ trong khi chạy, trừ vào số GPU-giờ bạn đã mua cho GPU đó. Dừng instance là dừng tính tiền ngay lập tức.
Nguồn (14)
- Thông số kỹ thuật NVIDIA H200 — NVIDIA (read 2026-10-29)
- Thông số kỹ thuật NVIDIA H100 — NVIDIA (read 2026-10-29)
- Thông số kỹ thuật NVIDIA A100 — NVIDIA (read 2026-10-29)
- Thông số kỹ thuật NVIDIA L40S — NVIDIA (read 2026-10-29)
- Nền tảng NVIDIA HGX (B200) — NVIDIA (read 2026-10-29)
- Whitepaper kiến trúc GPU NVIDIA Ada (RTX 4090) — NVIDIA (read 2026-10-29)
- Whitepaper kiến trúc NVIDIA RTX Blackwell (RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- model card gpt-oss-120b — OpenAI / Hugging Face (read 2026-10-29)
- Cookbook DeepSeek-V4 — SGLang (read 2026-10-29)
- Giá Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thay đổi giá SaladCloud, tháng 11 năm 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Giá Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Nguồn giá GPU công khai của Vast.ai — Vast.ai (read 2026-10-29)