빠른 답변
LLM 추론에 가장 좋은 GPU는 무엇인가요?
LLM 추론에 가장 좋은 GPU는 VRAM이 모델에 약 20%를 더한 크기를 담을 수 있는 가장 저렴한 GPU입니다. 7–8B 모델에는 RTX 4090(24 GB), FP8 32B 또는 4-bit 70B에는 L40S(48 GB), FP8 70B에는 H200(141 GB), 671B DeepSeek에는 8× H200입니다. 2026년 10월 29일 기준, GPUwithCrypto은 H200을 시간당 $3.07에 임대하며, 암호화폐로 결제합니다.
모델 크기별로 어떤 GPU를 써야 하나요?
필요한 VRAM = 가중치 × 1.2 (VRAM 가이드 참고). 저희 가격과 2026년 10월 29일에 확인한 제공업체 중에서 찾은 셀프서비스 온디맨드 GPU 시간당 최저 가격입니다.
| 모델 크기 (예시) | 필요한 VRAM | 최적의 GPU | 이유 | GPUwithCrypto | 다른 곳 최저가 (GPU당) |
|---|---|---|---|---|---|
| BF16 7–8B (Llama 3.1 8B, Mistral 7B) | 17.5–19.2 GB | RTX 4090 24GB | BF16 가중치와 32K 토큰 캐시(Llama 3.1 8B에서 4.3 GB)를 담음; FP8 Tensor Cores | 시간당 $0.28 | $0.33 (Salad) |
| 128K 토큰 컨텍스트의 7–8B | 16 GB + 17.2 GB 캐시 = 33.2 GB | L40S 48GB | 128K 토큰 BF16 캐시 하나만 17.2 GB 필요 | 시간당 $0.82 | $0.97 (Massed Compute) |
| FP8 30–32B (Qwen2.5 32B) | 39 GB | L40S 48GB | FP8 Tensor Cores가 있는 48 GB (733 TFLOPS dense FP8 피크) | 시간당 $0.82 | $0.97 (Massed Compute) |
| BF16 30–32B | 78 GB | A100 80GB | 저희 범위의 엔트리 80 GB GPU; FP8 Tensor Cores가 없으므로 BF16 또는 4-bit로 서빙 | 시간당 $0.92 | $1.09 (Thunder Compute) |
| 4-bit 70–72B | 42–43.6 GB | L40S 48GB | 저희 범위에서 44 GB를 넘는 엔트리 GPU | 시간당 $0.82 | $0.97 (Massed Compute) |
| FP8 70–72B (Llama 3.1 70B, Qwen2.5 72B) | 84–87.2 GB | H200 141GB | H100 두 대 대신 GPU 한 대; KV 캐시용으로 54–57 GB 남음; 4,800 GB/s | 시간당 $3.07 | $3.62 (Massed Compute) |
| gpt-oss-120b (MXFP4) | 78.3 GB | H100 80GB | 모델 카드는 단일 80 GB GPU를 대상으로 합니다; FP8 Tensor Cores, 3,350 GB/s (SXM) | $2.32/시간 | $2.73 (Massed Compute) |
| DeepSeek V4 Flash (284B MoE) | 191.5 GB | 2× H200 | FP4/FP8 가중치가 159.6 GB를 차지합니다; SGLang 문서에는 4× H200이 나와 있습니다 | $6.14/시간 | $3.62 (Massed Compute) |
| FP8 기준 405B (Llama 3.1 405B) | 486 GB | 4× H200 | GPU 4개에서 564 GB; 8× H100이라면 GPU 수가 두 배 필요합니다 | $12.28/시간 | $3.62 (Massed Compute) |
| 671B–1.6T MoE (DeepSeek-V3/R1 FP8, V4 Pro) | 805–1,037.6 GB | 8× H200 | 한 호스트에서 1,128 GB; 8× H100은 640 GB만 담습니다 | $24.56/시간 | $3.62 (Massed Compute) |
가격 확인일:
GPU-시간당, USD, 세금 별도. 스팟 및 마켓플레이스 가격은 포함하지 않습니다: 더 낮을 수 있지만 GPU를 돌려받을 수 있습니다.
추론에서 VRAM이 TFLOPS보다 더 중요한 이유는 무엇인가요?
VRAM은 모델이 실행될 수 있는지를 결정하고, 메모리 대역폭은 텍스트 생성 속도의 한계를 정합니다. 새 토큰 하나마다 활성 가중치 전체를 메모리에서 한 번씩 읽으므로, 작은 배치 크기에서는 GPU가 연산이 아니라 메모리를 기다립니다. 연산은 긴 프롬프트(prefill)와 대량의 사용자 배치에서 더 중요합니다.
그래서 H200과 H100은 FP8 최대 연산 성능이 같지만(1,979 TFLOPS dense, NVIDIA 수치) H200은 76% 더 많은 메모리를 담고 43% 더 빠르게 전송합니다: 4,800 GB/s 대 3,350 GB/s. 여기서 대역폭과 TFLOPS는 저희가 측정한 값이 아니라 NVIDIA의 최대 수치입니다.
어떤 GPU가 어떤 모델에 맞나요? (VRAM 순위)
저희가 대여하는 7개 GPU를 GPU당 VRAM 기준으로 큰 것부터 나열했습니다. VRAM이 어떤 모델이 들어가는지를 결정하기 때문입니다. 대역폭이 두 번째 기준이고, 시간당 가격이 세 번째입니다.
-
1
NVIDIA B200
최대 VRAM8,000 GB/s의 HBM3e 180 GB (NVIDIA 8-GPU HGX 수치의 GPU당 몫), FP8 및 FP4 Tensor Cores. 70B 모델을 BF16(168 GB)으로 GPU 한 개에 담습니다.
-
4,800 GB/s의 HBM3e 141 GB. 70B 모델을 FP8(84 GB)로 담고 KV 캐시용으로 57 GB가 남습니다. 8개를 묶으면 DeepSeek-V3 또는 V4 Pro가 들어갑니다.
-
3,350 GB/s(SXM) 또는 2,000 GB/s(PCIe)의 HBM3 80 GB, FP8 Tensor Cores. gpt-oss-120b 또는 32B 모델을 BF16으로 담습니다.
-
2,039 GB/s(SXM) 또는 1,935 GB/s(PCIe)의 HBM2e 80 GB. FP8 Tensor Cores 없음: BF16 또는 4-bit로 서빙합니다.
-
864 GB/s의 GDDR6 48 GB, FP8 Tensor Cores, NVLink 없음. 32B를 FP8로 또는 70B를 4-bit로 담습니다.
-
GDDR7 32 GB, 1,792 GB/s, FP8 및 FP4 Tensor Cores. BF16 모델은 12B(28.8 GB), 4-bit 모델은 32B(19.5 GB)를 올릴 수 있고 긴 컨텍스트까지 여유가 있습니다.
-
GDDR6X 24 GB, 1,008 GB/s, FP8 Tensor Cores. BF16 모델은 7–8B를 올릴 수 있습니다.
고지: 이 페이지는 GPUwithCrypto이(가) 게시합니다. 경쟁사 정보는 위에 표시된 날짜 기준 각사의 공개 웹사이트에서 가져온 것이며, 이후 변경되었을 수 있습니다.
H200 한 장이 H100 두 장보다 가성비가 좋나요?
FP8 70B 모델이라면 그렇습니다. H200 한 장이면 올릴 수 있지만, H100 두 장은 모델을 나눠서 매 레이어마다 데이터를 주고받아야 합니다. GPUwithCrypto의 2026년 10월 29일 가격 확인에 따르면, 13개 제공업체의 H200 온디맨드 가격 중앙값은 GPU-시간당 $5.29였고, 16개 제공사의 H100은 $4.16이었습니다. H200은 시간당 27% 더 비싸지만 VRAM은 76% 더 많아서, 메모리 GB당으로는 28% 더 저렴합니다.
저희 가격 기준으로는 H200 한 장이 시간당 $3.07, H100 두 장이 시간당 $4.64입니다. 전체 비교: H100 vs H200.
스팟 및 마켓플레이스 GPU는 어떤가요?
비용은 더 낮지만 작업 도중에 사라질 수 있습니다. 2026년 10월 29일 Vast.ai 마켓플레이스에서 가장 저렴한 H100 제안은 시간당 $1.73이었습니다(Vast.ai 공개 가격 피드). 저희가 찾은 최저 온디맨드 가격보다 낮은 수준입니다. 항상 켜져 있어야 하는 추론 서버라면 중단은 곧 다운타임을 뜻합니다. 인스턴스는 스팟이 아닌 온디맨드 방식입니다. 잔액이 유지되는 동안 누구도 GPU를 회수할 수 없으며, 직접 중지할 때까지 인스턴스가 실행됩니다. 각각 언제 쓰는지: 스팟 GPU란 무엇인가.
LLM 추론 GPU 질문
Llama 70B를 돌리려면 어떤 GPU가 필요한가요?
FP8이면 H200 한 장(필요 84 GB, 사용 가능 141 GB), 4-bit이면 L40S 한 장(필요 42 GB, 사용 가능 48 GB), BF16이면 B200 한 장(필요 168 GB, 사용 가능 180 GB)입니다. H100 두 장으로도 FP8 버전을 올릴 수 있으며, 합산 160 GB입니다.
DeepSeek V4에 가장 좋은 GPU는 무엇인가요?
H200입니다. DeepSeek V4 Flash의 가중치는 159.6 GB라서 최소 H200 두 장이 필요하고, SGLang cookbook에는 네 장으로 나와 있습니다. V4 Pro는 864.7 GB가 필요해 H200 여덟 장이 듭니다. 명령은 DeepSeek V4 가이드에 있습니다.
RTX 4090은 LLM 추론에 적합한가요?
7–8B 모델이라면 그렇습니다. 24 GB면 BF16 Llama 3.1 8B를 올릴 수 있고(오버헤드 포함 19.2 GB), 대역폭 1,008 GB/s로 저희 라인업의 엔트리 GPU입니다. BF16에서 약 10B 파라미터를 넘으면 메모리가 부족해집니다.
A100은 2026년에도 추론에 쓸 만한가요?
BF16 및 최대 80 GB 4-bit 모델이라면 그렇고, 저희 라인업의 엔트리 80 GB GPU입니다. FP8 Tensor Cores가 없어서 FP8 체크포인트는 L40S, H100, H200에서 더 잘 돌아갑니다. H100 vs A100을 참고하세요.
이 GPU를 암호화폐로 대여할 수 있나요?
네. GPUwithCrypto는 US$1 충전에서 BTC, USDT, USDC, ETH, SOL, LTC, XMR로 결제할 수 있으며, 신분증도 카드도 필요 없습니다. 인스턴스는 실행되는 동안 시간당 요금으로 분 단위 과금되며, 해당 GPU에 구매해 둔 GPU-시간에서 차감됩니다. 인스턴스를 중지하면 즉시 과금이 멈춥니다.
출처 (14)
- NVIDIA H200 사양 — NVIDIA (read 2026-10-29)
- NVIDIA H100 사양 — NVIDIA (read 2026-10-29)
- NVIDIA A100 사양 — NVIDIA (read 2026-10-29)
- NVIDIA L40S 사양 — NVIDIA (read 2026-10-29)
- NVIDIA HGX 플랫폼(B200) — NVIDIA (read 2026-10-29)
- NVIDIA Ada GPU 아키텍처 백서 (RTX 4090) — NVIDIA (read 2026-10-29)
- NVIDIA RTX Blackwell 아키텍처 백서(RTX 5090) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- gpt-oss-120b 모델 카드 — OpenAI / Hugging Face (read 2026-10-29)
- DeepSeek-V4 cookbook — SGLang (read 2026-10-29)
- Massed Compute 요금 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- SaladCloud 가격 변경, 2026년 11월 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Thunder Compute 요금 thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Vast.ai 공개 GPU 가격 피드 — Vast.ai (read 2026-10-29)