Jawaban singkat
Bagaimana cara menjalankan DeepSeek V4 di cloud GPU?
Untuk menjalankan DeepSeek V4 di cloud GPU, sewa VRAM yang cukup untuk bobotnya ditambah sekitar 20%: V4 Flash (284B parameter, 159,6 GB bobot) membutuhkan setidaknya dua H200, dan cookbook SGLang mendokumentasikan empat; V4 Pro (1,6T, 864,7 GB) membutuhkan delapan H200. Sajikan dengan vLLM atau SGLang. Per 29 Oktober 2026, GPUwithCrypto menyewakan H200 seharga $3.07/jam per GPU, dibayar dengan kripto.
DeepSeek V4 sekilas (Hugging Face, dibaca 29 Oktober 2026)
| Model | DeepSeek-V4-Flash dan DeepSeek-V4-Pro, open weights di bawah MIT License |
|---|---|
| Parameter | Flash: total 284B, 13B diaktifkan per token · Pro: total 1,6T, 49B diaktifkan |
| Format bobot | Campuran: bobot expert MoE dalam FP4, sebagian besar bobot lain dalam FP8 |
| Bobot di disk | Flash 159,6 GB (46 file) · Pro 864,7 GB (64 file) |
| Panjang konteks | 1 juta token; DeepSeek merekomendasikan setidaknya 384K untuk mode Think Max |
| Mesin serving di model card | vLLM dan SGLang |
| Saran sampling di card | temperature 1.0, top_p 1.0 |
Berapa banyak VRAM yang dibutuhkan DeepSeek V4?
Flash membutuhkan sekitar 191,5 GB dan Pro sekitar 1.037,6 GB: bobot yang dipublikasikan × 1,2. DeepSeek V4 adalah model mixture-of-experts. Hanya 13B (Flash) atau 49B (Pro) parameter yang bekerja pada setiap token, yang memangkas komputasi, bukan memori: setiap expert harus berada di VRAM. Attention terkompresinya menjaga KV cache tetap kecil, sehingga formula cache per token biasa untuk model gaya Llama tidak berlaku. Aturan bobot × 1,2 untuk model lain ada di berapa banyak VRAM yang saya butuhkan?
GPU mana yang menampung DeepSeek V4?
Minimum formula = jumlah GPU paling sedikit yang VRAM gabungannya menampung bobot × 1,2. Tata letak terdokumentasi = yang dijelaskan resep vLLM dan cookbook SGLang. Harga per jam kami untuk seluruh konfigurasi, 29 Oktober 2026.
| Model | Bobot | × 1.2 | Minimum formula | Tata letak terdokumentasi | GPUwithCrypto per jam |
|---|---|---|---|---|---|
| V4 Flash | 159.6 GB | 191.5 GB | 2× H200 (282 GB) atau 2× B200 (360 GB) | SGLang: 4 GPU di H200 atau B200, 8 di H100 · vLLM: 4 GPU per replika di H200 atau B200 | $6.14/jam; $12.28/jam untuk tata letak terdokumentasi |
| V4 Pro | 864.7 GB | 1,037.6 GB | 8× H200 (1.128 GB) atau 8× B200 (1.440 GB) | SGLang: 8 GPU di H200 atau B200; H100 membutuhkan dua node 8-GPU · vLLM: 8 GPU di H200, konteks dibatasi hingga 800K token | $24.56/jam |
Harga diperiksa pada
8× H100 (640 GB) terlalu kecil untuk V4 Pro, dan host kami memiliki paling banyak 8 GPU. Halaman H100 vs H200 membandingkan memori dan harganya. H100 dan H200 tidak memiliki FP4 Tensor Core: SGLang menjalankan expert FP4 di keduanya dengan kernel W4A16, sedangkan B200 menjalankan FP4 secara native.
Bagaimana cara menyajikan DeepSeek V4 Flash dengan vLLM?
Tata letak di bawah ini adalah yang direkomendasikan resep vLLM: empat GPU, data parallel plus expert parallel. Setiap flag berasal dari resep tersebut.
Sewa empat H200
Mulai instance 4× H200 (564 GB). Pastikan disk-nya menampung 159,6 GB bobot plus ruang untuk log. Setiap instance memiliki disk NVMe lokal, disesuaikan untuk GPU-nya dan ditampilkan sebelum Anda memulai. Disk dihapus saat Anda menghapus instance, jadi salin checkpoint Anda terlebih dahulu.
Instal vLLM
Pasang rilis vLLM bertag terbaru; resepnya meminta vLLM 0.20.0 atau lebih baru untuk model ini. Anda juga dapat menjalankan instance dari image Docker
vllm/vllm-openai.Unduh bobot
hf download deepseek-ai/DeepSeek-V4-Flashmenyimpan 46 file bobot ke cache Hugging Face. vLLM juga mengunduhnya saat pertama kali dijalankan.Jalankan server
Jalankan perintah di bawah. Server ini terikat ke 127.0.0.1 sehingga API hanya dapat diakses melalui tunnel SSH Anda.
Kirim permintaan
Teruskan port 8000 melalui SSH dan panggil endpoint yang kompatibel dengan OpenAI
/v1/chat/completions.Hentikan instance setelah selesai
Instance ditagih per menit dengan tarif per jam selama berjalan, dari GPU-jam yang Anda beli untuk GPU tersebut. Menghentikan instance langsung menghentikan tagihan.
pip install -U vllm
hf download deepseek-ai/DeepSeek-V4-Flash
vllm serve deepseek-ai/DeepSeek-V4-Flash \
--trust-remote-code \
--data-parallel-size 4 \
--enable-expert-parallel \
--kv-cache-dtype fp8 \
--block-size 256 \
--tokenizer-mode deepseek_v4 \
--reasoning-parser deepseek_v4 \
--tool-call-parser deepseek_v4 \
--enable-auto-tool-choice \
--host 127.0.0.1 --port 8000
# forward the API port (host and SSH port are shown in the dashboard)
ssh -N -L 8000:127.0.0.1:8000 -p SSH_PORT root@HOST
# in another terminal
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "deepseek-ai/DeepSeek-V4-Flash", "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}]}'
Bagaimana cara menyajikan DeepSeek V4 dengan SGLang?
Jalankan instance dari image Docker lmsysorg/sglang:latest, yang dicantumkan cookbook SGLang untuk H100, H200, dan B200, lalu gunakan tensor parallelism: --tp 4 untuk Flash di empat H200, --tp 8 untuk Flash di delapan H100 atau untuk Pro di delapan H200. API menjawab di port 30000 dengan route yang kompatibel dengan OpenAI yang sama.
python3 -m sglang.launch_server \
--model-path deepseek-ai/DeepSeek-V4-Flash \
--trust-remote-code \
--tp 4 \
--host 127.0.0.1 \
--port 30000
Bagaimana cara menyajikan DeepSeek V4 Pro?
Di delapan H200, dengan data parallelism di seluruh delapan GPU. Resep vLLM untuk H200 membatasi konteks pada 800K token untuk memberi ruang bagi cache, karena bobot dense disalin ke setiap GPU. Untuk mode Think Max, sisakan setidaknya 384K token konteks, sesuai rekomendasi DeepSeek.
vllm serve deepseek-ai/DeepSeek-V4-Pro \
--trust-remote-code \
--data-parallel-size 8 \
--enable-expert-parallel \
--max-model-len 800000 \
--kv-cache-dtype fp8 \
--block-size 256 \
--tokenizer-mode deepseek_v4 \
--reasoning-parser deepseek_v4 \
--host 127.0.0.1 --port 8000
Berapa biaya menjalankan DeepSeek V4 per jam?
Dengan harga kami, V4 Flash pada tata letak empat H200 yang didokumentasikan menghabiskan $12.28/jam, dan V4 Pro di delapan H200 menghabiskan $24.56/jam. Satu H200 penuh selama sehari adalah $73.68. Per penyedia: harga sewa H200.
Bobot Pro 5,4 kali ukuran Flash (864,7 berbanding 159,6 GB). Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, harga on-demand self-serve H200 terendah adalah $3.62 per GPU-jam (Massed Compute): $14,48 per jam untuk empat GPU dan $28,96 untuk delapan. Semua harga: pricing.
Checkpoint DeepSeek V4 mana yang harus saya unduh?
Mulailah dengan deepseek-ai/DeepSeek-V4-Flash atau deepseek-ai/DeepSeek-V4-Pro, repositori yang dibuat pada 22 April 2026, yang kartunya memuat angka di atas. DeepSeek kemudian menerbitkan checkpoint terbaru, DeepSeek-V4-Flash-0731 dan DeepSeek-V4-Pro-0813, dengan draft head bawaan untuk speculative decoding; resep vLLM meminta vLLM 0.25.0 atau lebih baru untuk itu. Repositori -Base ditujukan untuk pra-pelatihan lanjutan, bukan untuk chat atau tool call.
Pertanyaan tentang DeepSeek V4
Berapa VRAM yang saya butuhkan untuk DeepSeek V4 Flash?
Sekitar 191,5 GB: 159,6 GB bobot ditambah 20%. Dua H200 (282 GB) menampungnya dengan aturan itu; cookbook SGLang dan resep vLLM keduanya mendokumentasikan empat H200, yang menyisakan lebih banyak ruang untuk cache dan untuk pengguna paralel.
Berapa VRAM yang saya butuhkan untuk DeepSeek V4 Pro?
Sekitar 1.037,6 GB: 864,7 GB bobot ditambah 20%. Delapan H200 (1.128 GB) atau delapan B200 (1.440 GB) menampungnya di satu host. Delapan H100 (640 GB) tidak.
Bisakah saya menjalankan DeepSeek V4 di H100?
V4 Flash, bisa: cookbook SGLang mendokumentasikan delapan H100 dengan --tp 8. V4 Pro membutuhkan dua node H100 8-GPU dalam cookbook, lebih dari yang dapat ditampung satu instance kami, jadi gunakan delapan H200.
Bisakah saya menjalankan DeepSeek V4 di satu GPU?
Tidak pada GPU yang kami sewakan. Yang terbesar, B200 180 GB, menampung 159,6 GB bobot Flash tetapi hanya menyisakan 20 GB untuk cache, di bawah margin 20%. Dua GPU adalah batas minimumnya.
Bisakah saya membayar H200 dengan kripto?
Bisa. GPUwithCrypto menerima BTC, USDT, USDC, ETH, SOL, LTC, XMR dari top-up US$1, tanpa ID dan tanpa kartu. GPU-jam dijual dalam blok 10, 24, 168 atau 720 jam untuk satu model GPU, dengan tarif per jam yang sama; instance GPU tersebut menariknya per menit, dan jam yang tidak terpakai tidak pernah kedaluwarsa.
Sumber (8)
- Kartu model dan file DeepSeek-V4-Flash — DeepSeek / Hugging Face (read 2026-10-29)
- Kartu model dan file DeepSeek-V4-Pro — DeepSeek / Hugging Face (read 2026-10-29)
- Resep vLLM: DeepSeek V4 Flash — vLLM project (read 2026-10-29)
- Resep vLLM: DeepSeek V4 Pro — vLLM project (read 2026-10-29)
- Cookbook DeepSeek-V4 — SGLang (read 2026-10-29)
- Panduan Hugging Face CLI (hf download) — Hugging Face (read 2026-10-29)
- Spesifikasi NVIDIA H200 — NVIDIA (read 2026-10-29)
- Harga Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)