Anleitung · Modellfakten von Hugging Face · Befehle aus der vLLM- und SGLang-Dokumentation, 29. Oktober 2026

Wie führe ich DeepSeek V4 auf einer Cloud-GPU aus?

DeepSeek V4 gibt es in zwei Open-Weight-Größen, Flash und Pro. Diese Anleitung liefert die VRAM-Rechnung für beide, die Anzahl der GPUs, die die Serving-Engines dokumentieren, die Startbefehle und die stündlichen Kosten.

Zuletzt aktualisiert: 29. Oktober 2026 · 6 Min. Lesezeit

Kurze Antwort

Wie führe ich DeepSeek V4 auf einer Cloud-GPU aus?

Um DeepSeek V4 auf einer Cloud-GPU auszuführen, mieten Sie genug VRAM für die Gewichte plus etwa 20 %: V4 Flash (284B Parameter, 159,6 GB Gewichte) braucht mindestens zwei H200s, und das SGLang-Cookbook dokumentiert vier; V4 Pro (1,6T, 864,7 GB) braucht acht H200s. Serven Sie es mit vLLM oder SGLang. Stand 29. Oktober 2026 vermietet GPUwithCrypto die H200 für $3.07/Stunde pro GPU, bezahlt mit Krypto.

DeepSeek V4 auf einen Blick (Hugging Face, gelesen am 29. Oktober 2026)

Modelle	DeepSeek-V4-Flash und DeepSeek-V4-Pro, offene Gewichte unter der MIT License
Parameter	Flash: 284B gesamt, 13B pro Token aktiviert · Pro: 1,6T gesamt, 49B aktiviert
Gewichtsformat	Gemischt: MoE-Expert-Gewichte in FP4, die meisten anderen Gewichte in FP8
Gewichte auf der Festplatte	Flash 159,6 GB (46 Dateien) · Pro 864,7 GB (64 Dateien)
Kontextlänge	1 Million Token; DeepSeek empfiehlt mindestens 384K für den Think-Max-Modus
Serving-Engines auf der Modellkarte	vLLM und SGLang
Sampling-Empfehlung auf der Karte	temperature 1.0, top_p 1.0

Wie viel VRAM braucht DeepSeek V4?

Flash braucht etwa 191,5 GB und Pro etwa 1.037,6 GB: die veröffentlichten Gewichte × 1,2. DeepSeek V4 ist ein Mixture-of-Experts-Modell. Nur 13B (Flash) oder 49B (Pro) Parameter arbeiten bei jedem Token, was den Rechenaufwand senkt, nicht den Speicher: jeder Expert muss im VRAM liegen. Seine komprimierte Attention hält den KV-Cache klein, daher gilt die übliche Formel für den Cache pro Token für Llama-artige Modelle hier nicht. Die Regel Gewichte × 1,2 für andere Modelle steht auf wie viel VRAM brauche ich?

Welche GPUs fassen DeepSeek V4?

Formel-Minimum = die wenigsten GPUs, deren kombinierter VRAM die Gewichte × 1,2 fasst. Dokumentierte Layouts = was die vLLM-Rezepte und das SGLang-Cookbook beschreiben. Unser Preis pro Stunde für die gesamte Konfiguration, 29. Oktober 2026.

Modell	Gewichte	× 1.2	Formel-Minimum	Dokumentierte Layouts	GPUwithCrypto pro Stunde
V4 Flash	159.6 GB	191.5 GB	2× H200 (282 GB) oder 2× B200 (360 GB)	SGLang: 4 GPUs auf H200 oder B200, 8 auf H100 · vLLM: 4 GPUs pro Replica auf H200 oder B200	$6.14/Stunde; $12.28/Stunde für das dokumentierte Layout
V4 Pro	864.7 GB	1,037.6 GB	8× H200 (1.128 GB) oder 8× B200 (1.440 GB)	SGLang: 8 GPUs auf H200 oder B200; H100 braucht zwei 8-GPU-Nodes · vLLM: 8 GPUs auf H200, Kontext auf 800K Token begrenzt	$24.56/Stunde

Preise geprüft am 29. Oktober 2026

8× H100 (640 GB) ist zu klein für V4 Pro, und unsere Hosts haben höchstens 8 GPUs. Die Seite H100 vs H200 vergleicht ihren Speicher und Preis. H100 und H200 haben keine FP4 Tensor Cores: SGLang führt die FP4-Experten darauf mit W4A16-Kernels aus, während die B200 FP4 nativ ausführt.

Wie serve ich DeepSeek V4 Flash mit vLLM?

Das folgende Layout ist das, was das vLLM-Rezept empfiehlt: vier GPUs, Data Parallel plus Expert Parallel. Jedes Flag stammt aus diesem Rezept.

Vier H200s mieten
Starten Sie eine 4× H200-Instanz (564 GB). Prüfen Sie, dass ihre Festplatte die 159,6 GB Gewichte plus Platz für Logs fasst. Jede Instanz hat eine lokale NVMe-Disk, dimensioniert für ihre GPU und vor dem Start angezeigt. Die Disk wird beim Löschen der Instanz gewischt, kopieren Sie Ihre Checkpoints also vorher heraus.
vLLM installieren
Installieren Sie die neueste getaggte vLLM-Version; das Rezept verlangt für dieses Modell vLLM 0.20.0 oder neuer. Sie können die Instanz auch aus dem Docker-Image vllm/vllm-openai starten.
Gewichte herunterladen
hf download deepseek-ai/DeepSeek-V4-Flash speichert die 46 Gewichtsdateien im Hugging Face-Cache. vLLM lädt sie auch beim ersten Start herunter.
Server starten
Führen Sie den folgenden Befehl aus. Er bindet an 127.0.0.1, sodass die API nur über Ihren SSH-Tunnel erreichbar ist.
Anfrage senden
Leiten Sie Port 8000 über SSH weiter und rufen Sie den OpenAI-kompatiblen Endpoint /v1/chat/completions auf.
Instanz stoppen, wenn Sie fertig sind
Instanzen werden pro Minute zum Stundensatz abgerechnet, solange sie laufen, aus den GPU-Stunden, die Sie für diese GPU gekauft haben. Das Stoppen einer Instanz beendet die Abrechnung sofort.

serve-v4-flash-vllm.sh (4× H200)

pip install -U vllm
hf download deepseek-ai/DeepSeek-V4-Flash

vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --trust-remote-code \
  --data-parallel-size 4 \
  --enable-expert-parallel \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --tokenizer-mode deepseek_v4 \
  --reasoning-parser deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --host 127.0.0.1 --port 8000

request.sh (von Ihrem Computer)

# forward the API port (host and SSH port are shown in the dashboard)
ssh -N -L 8000:127.0.0.1:8000 -p SSH_PORT root@HOST

# in another terminal
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash", "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}]}'

Wie stelle ich DeepSeek V4 stattdessen mit SGLang bereit?

Starten Sie die Instanz aus dem Docker-Image lmsysorg/sglang:latest, das das SGLang-Cookbook für H100, H200 und B200 aufführt, und verwenden Sie Tensor-Parallelität: --tp 4 für Flash auf vier H200s, --tp 8 für Flash auf acht H100s oder für Pro auf acht H200s. Die API antwortet auf Port 30000 mit denselben OpenAI-kompatiblen Routen.

serve-v4-flash-sglang.sh (4× H200)

python3 -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Flash \
  --trust-remote-code \
  --tp 4 \
  --host 127.0.0.1 \
  --port 30000

Wie stelle ich DeepSeek V4 Pro bereit?

Auf acht H200s, mit Datenparallelität über alle acht GPUs. Das vLLM-Rezept für H200 begrenzt den Kontext auf 800K Tokens, um Platz für den Cache zu lassen, da die dichten Gewichte auf jede GPU kopiert werden. Für den Think-Max-Modus behalten Sie mindestens 384K Tokens Kontext bei, wie DeepSeek empfiehlt.

serve-v4-pro-vllm.sh (8× H200)

vllm serve deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --data-parallel-size 8 \
  --enable-expert-parallel \
  --max-model-len 800000 \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --tokenizer-mode deepseek_v4 \
  --reasoning-parser deepseek_v4 \
  --host 127.0.0.1 --port 8000

Was kostet der Betrieb von DeepSeek V4 pro Stunde?

Zu unseren Preisen kostet V4 Flash im dokumentierten Layout mit vier H200s $12.28/Stunde und V4 Pro auf acht H200s $24.56/Stunde. Ein ganzer Tag auf einer H200 kostet $73.68. Anbieter für Anbieter: H200-Mietpreise.

Die Gewichte von Pro sind 5,4-mal so groß wie die von Flash (864,7 gegenüber 159,6 GB). Laut der Preisprüfung von GPUwithCrypto vom 29. Oktober 2026 lag der niedrigste Self-Serve-On-Demand-Preis für H200 bei $3.62 pro GPU-Stunde (Massed Compute): 14,48 $ pro Stunde für vier GPUs und 28,96 $ für acht. Alle Preise: Preise.

Welchen DeepSeek V4 Checkpoint sollte ich herunterladen?

Beginnen Sie mit deepseek-ai/DeepSeek-V4-Flash oder deepseek-ai/DeepSeek-V4-Pro, den am 22. April 2026 erstellten Repositories, deren Model Cards die oben genannten Zahlen angeben. DeepSeek veröffentlichte später aktualisierte Checkpoints, DeepSeek-V4-Flash-0731 und DeepSeek-V4-Pro-0813, mit einem integrierten Draft-Head für spekulatives Decoding; das vLLM-Rezept verlangt dafür vLLM 0.25.0 oder neuer. Die Repositories -Base sind für weiteres Pre-Training gedacht, nicht für Chat oder Tool-Calls.

Fragen zu DeepSeek V4

Wie viel VRAM brauche ich für DeepSeek V4 Flash?

Etwa 191,5 GB: 159,6 GB Gewichte plus 20 %. Zwei H200s (282 GB) fassen es nach dieser Regel; das SGLang-Cookbook und das vLLM-Rezept dokumentieren beide vier H200s, was mehr Platz für den Cache und für parallele Nutzer lässt.

Wie viel VRAM brauche ich für DeepSeek V4 Pro?

Etwa 1.037,6 GB: 864,7 GB Gewichte plus 20 %. Acht H200s (1.128 GB) oder acht B200s (1.440 GB) fassen es auf einem Host. Acht H100s (640 GB) nicht.

Kann ich DeepSeek V4 auf H100s ausführen?

V4 Flash ja: Das SGLang-Cookbook dokumentiert acht H100s mit --tp 8. V4 Pro braucht im Cookbook zwei 8-GPU-H100-Knoten, mehr als eine unserer Instanzen fasst, verwenden Sie daher acht H200s.

Kann ich DeepSeek V4 auf einer GPU ausführen?

Nicht auf den GPUs, die wir vermieten. Die größte, eine 180 GB B200, fasst die 159,6 GB Gewichte von Flash, lässt aber nur 20 GB für den Cache, unter der 20-%-Marge. Zwei GPUs sind das Minimum.

Kann ich die H200s mit Krypto bezahlen?

Ja. GPUwithCrypto nimmt BTC, USDT, USDC, ETH, SOL, LTC, XMR aus einer 1 $-Aufladung, ohne ID und ohne Karte. GPU-Stunden werden in Blöcken von 10, 24, 168 oder 720 Stunden für ein GPU-Modell zum selben Stundensatz verkauft; Instanzen dieser GPU beziehen sie minutengenau, und ungenutzte Stunden verfallen nie.

Quellen (8)

DeepSeek-V4-Flash Model Card und Dateien — DeepSeek / Hugging Face (read 2026-10-29)
DeepSeek-V4-Pro Model Card und Dateien — DeepSeek / Hugging Face (read 2026-10-29)
vLLM-Rezept: DeepSeek V4 Flash — vLLM project (read 2026-10-29)
vLLM-Rezept: DeepSeek V4 Pro — vLLM project (read 2026-10-29)
DeepSeek-V4 Cookbook — SGLang (read 2026-10-29)
Hugging Face CLI-Anleitung (hf download) — Hugging Face (read 2026-10-29)
NVIDIA H200 Spezifikationen — NVIDIA (read 2026-10-29)
Massed Compute-Preise vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)