클라우드 GPU에서 DeepSeek V4를 어떻게 실행하나요?

DeepSeek V4에는 VRAM이 얼마나 필요한가요?

Flash는 약 191.5 GB, Pro는 약 1,037.6 GB가 필요합니다: 공개된 가중치 × 1.2. DeepSeek V4는 mixture-of-experts 모델입니다. 토큰마다 13B(Flash) 또는 49B(Pro) 파라미터만 동작하므로 연산량이 줄어들 뿐 메모리는 줄지 않습니다: 모든 전문가가 VRAM에 올라가야 합니다. 압축 어텐션은 KV 캐시를 작게 유지하므로 Llama 계열 모델의 일반적인 토큰당 캐시 공식은 적용되지 않습니다. 다른 모델에 대한 가중치 × 1.2 규칙은 VRAM이 얼마나 필요하나요?에 있습니다

DeepSeek V4를 SGLang으로 대신 서빙하려면 어떻게 하나요?

SGLang cookbook이 H100, H200, B200용으로 안내하는 lmsysorg/sglang:latest Docker 이미지에서 인스턴스를 시작하고 텐서 병렬 처리를 사용하세요. Flash를 H200 4대에서 실행할 때는 --tp 4, Flash를 H100 8대 또는 Pro를 H200 8대에서 실행할 때는 --tp 8입니다. API는 동일한 OpenAI 호환 라우트로 30000번 포트에서 응답합니다.

python3 -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Flash \
  --trust-remote-code \
  --tp 4 \
  --host 127.0.0.1 \
  --port 30000

DeepSeek V4 Pro는 어떻게 서빙하나요?

H200 8대에서, 8개 GPU 전체에 데이터 병렬 처리를 적용합니다. H200용 vLLM 레시피는 dense 가중치가 모든 GPU에 복사되기 때문에 캐시 공간을 확보하려고 컨텍스트를 800K 토큰으로 제한합니다. Think Max 모드에서는 DeepSeek 권장대로 최소 384K 토큰의 컨텍스트를 유지하세요.

vllm serve deepseek-ai/DeepSeek-V4-Pro \
  --trust-remote-code \
  --data-parallel-size 8 \
  --enable-expert-parallel \
  --max-model-len 800000 \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --tokenizer-mode deepseek_v4 \
  --reasoning-parser deepseek_v4 \
  --host 127.0.0.1 --port 8000

DeepSeek V4를 시간당 실행하는 비용은 얼마인가요?

저희 가격 기준으로, 문서에 나온 H200 4대 구성에서 V4 Flash는 시간당 $12.28, H200 8대에서 V4 Pro는 시간당 $24.56입니다. H200 한 대를 하루 종일 사용하면 $73.68입니다. 제공업체별로는: H200 임대 가격.

Pro의 가중치는 Flash의 5.4배입니다(864.7 대 159.6 GB). GPUwithCrypto의 2026년 10월 29일 가격 조사에 따르면, 셀프서비스 온디맨드 H200의 최저가는 GPU-시간당 $3.62(Massed Compute)였습니다: GPU 4대는 시간당 $14.48, 8대는 $28.96입니다. 전체 가격: pricing.

어떤 DeepSeek V4 체크포인트를 다운로드해야 하나요?

2026년 4월 22일에 생성된 deepseek-ai/DeepSeek-V4-Flash 또는 deepseek-ai/DeepSeek-V4-Pro로 시작하세요. 이 저장소의 카드에 위 수치가 나와 있습니다. DeepSeek는 이후 추측 디코딩용 draft head가 내장된 업데이트된 체크포인트 DeepSeek-V4-Flash-0731와 DeepSeek-V4-Pro-0813를 공개했으며, vLLM 레시피는 이들을 위해 vLLM 0.25.0 이상을 요구합니다. -Base 저장소는 채팅이나 도구 호출이 아니라 추가 사전 학습용입니다.