Trả lời nhanh
Làm thế nào để chạy DeepSeek V4 trên GPU cloud?
Để chạy DeepSeek V4 trên GPU cloud, hãy thuê đủ VRAM cho trọng số của nó cộng thêm khoảng 20%: V4 Flash (284B tham số, 159.6 GB trọng số) cần ít nhất hai H200, và SGLang cookbook tài liệu hóa bốn GPU; V4 Pro (1.6T, 864.7 GB) cần tám H200. Phục vụ nó bằng vLLM hoặc SGLang. Tính đến ngày 29 tháng 10 năm 2026, GPUwithCrypto cho thuê H200 với giá $3.07/giờ mỗi GPU, thanh toán bằng crypto.
DeepSeek V4 trong nháy mắt (Hugging Face, đọc ngày 29 tháng 10 năm 2026)
| Model | DeepSeek-V4-Flash và DeepSeek-V4-Pro, open weights theo MIT License |
|---|---|
| Tham số | Flash: tổng 284B, kích hoạt 13B mỗi token · Pro: tổng 1.6T, kích hoạt 49B |
| Định dạng trọng số | Hỗn hợp: trọng số chuyên gia MoE ở FP4, hầu hết trọng số khác ở FP8 |
| Trọng số trên đĩa | Flash 159.6 GB (46 tệp) · Pro 864.7 GB (64 tệp) |
| Độ dài ngữ cảnh | 1 triệu token; DeepSeek khuyến nghị ít nhất 384K cho chế độ Think Max |
| Serving engine trên model card | vLLM và SGLang |
| Gợi ý lấy mẫu trên card | temperature 1.0, top_p 1.0 |
DeepSeek V4 cần bao nhiêu VRAM?
Flash cần khoảng 191.5 GB và Pro khoảng 1,037.6 GB: trọng số công bố × 1.2. DeepSeek V4 là model mixture-of-experts. Chỉ 13B (Flash) hoặc 49B (Pro) tham số hoạt động trên mỗi token, điều này cắt giảm compute chứ không phải bộ nhớ: mọi chuyên gia đều phải nằm trong VRAM. Cơ chế attention nén giữ KV cache nhỏ, nên công thức cache mỗi token thông thường cho các model kiểu Llama không áp dụng được. Quy tắc trọng số × 1.2 cho các model khác nằm ở tôi cần bao nhiêu VRAM?
GPU nào chứa được DeepSeek V4?
Mức tối thiểu theo công thức = số GPU ít nhất mà tổng VRAM chứa được trọng số × 1.2. Bố cục được tài liệu hóa = những gì công thức vLLM và SGLang cookbook mô tả. Giá mỗi giờ của chúng tôi cho toàn bộ cấu hình, 29 tháng 10 năm 2026.
| Mô hình | Trọng số | × 1.2 | Mức tối thiểu theo công thức | Bố cục được tài liệu hóa | GPUwithCrypto mỗi giờ |
|---|---|---|---|---|---|
| V4 Flash | 159.6 GB | 191.5 GB | 2× H200 (282 GB) hoặc 2× B200 (360 GB) | SGLang: 4 GPU trên H200 hoặc B200, 8 trên H100 · vLLM: 4 GPU mỗi replica trên H200 hoặc B200 | $6.14/giờ; $12.28/giờ cho bố cục được tài liệu hóa |
| V4 Pro | 864.7 GB | 1,037.6 GB | 8× H200 (1,128 GB) hoặc 8× B200 (1,440 GB) | SGLang: 8 GPU trên H200 hoặc B200; H100 cần hai node 8-GPU · vLLM: 8 GPU trên H200, ngữ cảnh giới hạn ở 800K token | $24.56/giờ |
Giá được kiểm tra vào
8× H100 (640 GB) là quá nhỏ cho V4 Pro, và máy chủ của chúng tôi có tối đa 8 GPU. Trang H100 vs H200 so sánh bộ nhớ và giá của chúng. H100 và H200 không có FP4 Tensor Cores: SGLang chạy các chuyên gia FP4 trên chúng bằng kernel W4A16, trong khi B200 chạy FP4 gốc.
Làm thế nào để phục vụ DeepSeek V4 Flash bằng vLLM?
Bố cục dưới đây là bố cục được công thức vLLM khuyến nghị: bốn GPU, data parallel cộng expert parallel. Mọi flag đều lấy từ công thức đó.
Thuê bốn H200
Khởi tạo một instance 4× H200 (564 GB). Kiểm tra rằng đĩa của nó chứa được 159.6 GB trọng số cộng thêm chỗ cho log. Mỗi instance có ổ NVMe cục bộ, dung lượng phù hợp với GPU của nó và được hiển thị trước khi bạn bắt đầu. Ổ đĩa bị xóa khi bạn xóa instance, nên hãy sao chép các checkpoint ra trước.
Cài đặt vLLM
Cài đặt bản phát hành vLLM có gắn thẻ mới nhất; công thức yêu cầu vLLM 0.20.0 trở lên cho model này. Bạn cũng có thể khởi động instance từ Docker image
vllm/vllm-openai.Tải weights về
hf download deepseek-ai/DeepSeek-V4-Flashlưu 46 file weight vào Hugging Face cache. vLLM cũng tải chúng trong lần khởi động đầu tiên.Khởi động server
Chạy lệnh bên dưới. Lệnh này bind vào 127.0.0.1 nên API chỉ truy cập được qua SSH tunnel của bạn.
Gửi một truy vấn
Chuyển tiếp cổng 8000 qua SSH và gọi endpoint tương thích OpenAI
/v1/chat/completions.Dừng instance khi xong
Instance được tính tiền theo phút với mức giá theo giờ trong khi chạy, trừ vào số GPU-giờ bạn đã mua cho GPU đó. Dừng instance là dừng tính tiền ngay lập tức.
pip install -U vllm
hf download deepseek-ai/DeepSeek-V4-Flash
vllm serve deepseek-ai/DeepSeek-V4-Flash \
--trust-remote-code \
--data-parallel-size 4 \
--enable-expert-parallel \
--kv-cache-dtype fp8 \
--block-size 256 \
--tokenizer-mode deepseek_v4 \
--reasoning-parser deepseek_v4 \
--tool-call-parser deepseek_v4 \
--enable-auto-tool-choice \
--host 127.0.0.1 --port 8000
# forward the API port (host and SSH port are shown in the dashboard)
ssh -N -L 8000:127.0.0.1:8000 -p SSH_PORT root@HOST
# in another terminal
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "deepseek-ai/DeepSeek-V4-Flash", "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}]}'
Làm thế nào để serve DeepSeek V4 bằng SGLang thay thế?
Khởi động instance từ Docker image lmsysorg/sglang:latest, image mà SGLang cookbook liệt kê cho H100, H200 và B200, và dùng tensor parallelism: --tp 4 cho Flash trên bốn H200, --tp 8 cho Flash trên tám H100 hoặc cho Pro trên tám H200. API trả lời trên cổng 30000 với cùng các route tương thích OpenAI.
python3 -m sglang.launch_server \
--model-path deepseek-ai/DeepSeek-V4-Flash \
--trust-remote-code \
--tp 4 \
--host 127.0.0.1 \
--port 30000
Làm thế nào để serve DeepSeek V4 Pro?
Trên tám H200, với data parallelism trên cả tám GPU. Công thức vLLM cho H200 giới hạn context ở 800K token để chừa chỗ cho cache, vì weights dense được sao chép sang mọi GPU. Với chế độ Think Max, giữ context ít nhất 384K token, đúng như DeepSeek khuyến nghị.
vllm serve deepseek-ai/DeepSeek-V4-Pro \
--trust-remote-code \
--data-parallel-size 8 \
--enable-expert-parallel \
--max-model-len 800000 \
--kv-cache-dtype fp8 \
--block-size 256 \
--tokenizer-mode deepseek_v4 \
--reasoning-parser deepseek_v4 \
--host 127.0.0.1 --port 8000
Chạy DeepSeek V4 tốn bao nhiêu tiền mỗi giờ?
Theo giá của chúng tôi, V4 Flash trên bố cục bốn H200 được tài liệu hóa tốn $12.28/giờ, và V4 Pro trên tám H200 tốn $24.56/giờ. Một ngày trọn vẹn của một H200 là $73.68. Theo từng nhà cung cấp: giá thuê H200.
Weights của Pro lớn gấp 5,4 lần của Flash (864,7 so với 159,6 GB). Theo kiểm tra giá của GPUwithCrypto ngày 29 tháng 10 năm 2026, giá H200 on-demand tự phục vụ thấp nhất là $3.62 mỗi GPU-giờ (Massed Compute): $14,48 mỗi giờ cho bốn GPU và $28,96 cho tám. Mọi mức giá: bảng giá.
Nên tải checkpoint DeepSeek V4 nào?
Bắt đầu với deepseek-ai/DeepSeek-V4-Flash hoặc deepseek-ai/DeepSeek-V4-Pro, các repository được tạo ngày 22 tháng 4 năm 2026, có model card ghi các số liệu ở trên. DeepSeek sau đó công bố các checkpoint cập nhật, DeepSeek-V4-Flash-0731 và DeepSeek-V4-Pro-0813, với draft head tích hợp cho speculative decoding; công thức vLLM yêu cầu vLLM 0.25.0 trở lên cho chúng. Các repository -Base dành cho pre-training tiếp, không dành cho chat hay tool calls.
Câu hỏi về DeepSeek V4
Tôi cần bao nhiêu VRAM cho DeepSeek V4 Flash?
Khoảng 191,5 GB: 159,6 GB weights cộng thêm 20%. Hai H200 (282 GB) chứa được theo quy tắc đó; SGLang cookbook và công thức vLLM đều tài liệu hóa bốn H200, chừa nhiều chỗ hơn cho cache và cho người dùng song song.
Tôi cần bao nhiêu VRAM cho DeepSeek V4 Pro?
Khoảng 1.037,6 GB: 864,7 GB weights cộng thêm 20%. Tám H200 (1.128 GB) hoặc tám B200 (1.440 GB) chứa được trên một host. Tám H100 (640 GB) thì không.
Tôi có thể chạy DeepSeek V4 trên H100 không?
V4 Flash thì được: SGLang cookbook tài liệu hóa tám H100 với --tp 8. V4 Pro cần hai node H100 8-GPU trong cookbook, nhiều hơn một instance của chúng tôi chứa được, nên hãy dùng tám H200.
Tôi có thể chạy DeepSeek V4 trên một GPU không?
Không trên các GPU chúng tôi cho thuê. GPU lớn nhất, một B200 180 GB, chứa được 159,6 GB weights của Flash nhưng chỉ còn 20 GB cho cache, dưới mức biên 20%. Hai GPU là mức tối thiểu.
Tôi có thể trả tiền cho các H200 bằng crypto không?
Có. GPUwithCrypto nhận BTC, USDT, USDC, ETH, SOL, LTC từ một lần nạp tiền 25 US$, không cần ID và không cần thẻ. GPU-giờ được bán theo gói 10, 24, 168 hoặc 720 giờ cho một mẫu GPU, cùng mức giá theo giờ; instance của GPU đó rút từ số giờ này theo phút, và số giờ chưa dùng không bao giờ hết hạn.
Nguồn (8)
- Model card và file của DeepSeek-V4-Flash — DeepSeek / Hugging Face (read 2026-10-29)
- Model card và file của DeepSeek-V4-Pro — DeepSeek / Hugging Face (read 2026-10-29)
- Công thức vLLM: DeepSeek V4 Flash — vLLM project (read 2026-10-29)
- Công thức vLLM: DeepSeek V4 Pro — vLLM project (read 2026-10-29)
- Cookbook DeepSeek-V4 — SGLang (read 2026-10-29)
- Hướng dẫn Hugging Face CLI (hf download) — Hugging Face (read 2026-10-29)
- Thông số kỹ thuật NVIDIA H200 — NVIDIA (read 2026-10-29)
- Giá Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)