빠른 답변
H100 vs H200: H200은 추가 비용을 지불할 가치가 있나요?
H100 vs H200: 모델이 80 GB에 들어가지 않을 때 H200은 추가 비용을 지불할 가치가 있습니다. 141 GB와 1.43배의 대역폭을 가지며, SXM 피크 연산 성능은 동일합니다. 2026년 10월 29일 기준으로, 저희가 찾은 최저 온디맨드 가격에서 시간당 33% 더 비쌌지만, FP8의 Llama 3.1 70B가 H100 두 장 대신 H200 한 장에 들어갑니다. GPUwithCrypto은 두 모델 모두 암호화폐로, KYC 없이 대여합니다: H200 시간당 $3.07, H100 $2.32/시간.
H100과 H200의 스펙은 어떻게 비교되나요?
2026년 10월 29일에 확인한 NVIDIA 공식 수치입니다. Tensor 수치는 dense 피크 TFLOPS입니다. NVIDIA는 Hopper Tensor 값을 sparsity 기준으로만 표기하므로, dense = NVIDIA 수치 ÷ 2이며 (d)로 표시했습니다. 피크 수치는 벤치마크가 아닙니다.
| 사양 | H100 SXM | H100 PCIe | H200 SXM | H200 NVL (PCIe) |
|---|---|---|---|---|
| 메모리 | 80 GB HBM3 | 80 GB HBM2e | 141 GB HBM3e | 141 GB HBM3e |
| 메모리 대역폭 | 3,350 GB/s | 2,000 GB/s | 4,800 GB/s | 4,800 GB/s |
| FP16 / BF16 Tensor, dense | 989.5 TFLOPS (d) | — | 989.5 TFLOPS (d) | 835.5 TFLOPS (d) |
| FP8 Tensor, dense | 1,979 TFLOPS (d) | — | 1,979 TFLOPS (d) | 1,670.5 TFLOPS (d) |
| NVLink | 900 GB/s | 600 GB/s (브리지) | 900 GB/s | 900 GB/s(2-way 또는 4-way 브리지) |
| PCIe | Gen5 | Gen5 | Gen5 | Gen5 |
| 최대 전력 | 700 W | 350 W | 700 W | 600 W |
| 출시 | 2022 | 2022 | 2023 | 2024 |
(d) = NVIDIA의 'sparsity 포함' 수치 ÷ 2. NVIDIA는 H200 표에 'Preliminary specifications. May be subject to change.'라고 표기합니다. 현재 공식 페이지 중 H100 PCIe Tensor 값을 dense 또는 sparse로 제공하는 곳은 없습니다.
H200이 H100보다 빠른가요?
순수 연산에서는 아닙니다. H200 SXM과 H100 SXM은 동일한 dense 피크를 공유합니다: BF16 989.5 TFLOPS, FP8 1,979 TFLOPS. H200은 메모리가 달라집니다: 80 GB 대신 141 GB(1.76배), 3,350 GB/s 대신 4,800 GB/s(1.43배). 이는 NVIDIA의 피크 수치이며 벤치마크가 아닙니다.
- 연산 바운드 작업(학습, 긴 프롬프트 프리필)은 H200에서 피크 이점이 없습니다.
- 메모리 바운드 디코딩은 피크에서 최대 1.43× 대역폭 비율만큼 이득을 볼 수 있습니다.
- 용량이 가장 큰 이점입니다. H100 두 장이 필요한 모델이 GPU 간 분할 없이 H200 한 장에서 실행됩니다.
H200 NVL은 동일한 141 GB, 600 W 제한, 더 낮은 피크(835.5 TFLOPS BF16 dense)를 가진 PCIe 카드입니다. 인스턴스는 호스트에 따라 GPU 1~8개를 가집니다. 시작하기 전에 대시보드에서 각 호스트의 국가, GPU 수, 폼 팩터(SXM 또는 PCIe), 인터커넥트를 확인할 수 있습니다.
H200 한 장에는 들어가지만 H100 한 장에는 들어가지 않는 모델은 무엇인가요?
경험 법칙: 메모리 ≈ 파라미터 수(십억) × 파라미터당 바이트 × 1.2이며, BF16은 2바이트, FP8은 1, 4-bit는 0.5입니다(EleutherAI). 긴 컨텍스트는 KV 캐시를 추가합니다: Llama 3.1 70B는 BF16에서 토큰당 320 KiB를 사용하므로, 131,072 토큰 컨텍스트 하나에 42.9 GB가 추가됩니다. 공식과 더 많은 모델: VRAM 가이드.
| 모델 및 정밀도 | 필요한 메모리 | H100 80GB | H200 141GB |
|---|---|---|---|
| Llama 3.1 8B, BF16 | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, QLoRA 파인튜닝 | 52.5 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, FP8 | 84 GB | GPU 2개 | GPU 1장 |
| Qwen2.5 72B, FP8 | 87.2 GB | GPU 2개 | GPU 1장 |
| Llama 3.1 70B, FP8 + 128K 토큰 컨텍스트 하나 | ≈ 113 GB | GPU 2개 | GPU 1장 |
| Llama 3.1 70B, BF16 | 168 GB | GPU 3개 | GPU 2개 |
| Llama 3.1 405B, 4-bit | 243 GB | GPU 4장 | GPU 2개 |
| Llama 3.1 405B, FP8 | 486 GB | GPU 7개 | GPU 4장 |
| DeepSeek-V3 / R1, FP8 (네이티브) | 약 805 GB | GPU 11장 (8-GPU 노드 한 대 초과) | GPU 6장 (8-GPU 노드 한 대) |
단순 계산(naive fit)은 총 메모리가 추정치를 담을 수 있는 카드 수를 뜻합니다. 텐서 병렬 오버헤드와 드라이버가 예약한 메모리는 무시합니다. DeepSeek는 V3와 R1 가중치를 FP8로 공개하며, 토큰당 활성 파라미터는 37B이지만 671B 파라미터 전체가 상주해야 합니다. KV 캐시 수치는 Llama 3 논문의 아키텍처(80개 레이어, 8개 KV 헤드, 헤드 크기 128)를 사용합니다.
H100과 H200은 시간당 얼마인가요?
GPU-시간당, USD. '최저'와 '중앙값'은 2026년 10월 29일 GPUwithCrypto의 가격 조사에서 나온 셀프서비스 온디맨드 정가이며, 스팟 및 마켓플레이스 가격은 제외했습니다. Vast.ai는 마켓플레이스이므로 별도로 표시했습니다. 모든 GPU: 가격.
| GPU | GPUwithCrypto | 다른 곳의 최저 온디맨드 | 중앙값 온디맨드 | 조사한 제공업체 | Vast.ai 최저 오퍼 |
|---|---|---|---|---|---|
| H100 80GB | $2.32/시간 | $2.73 (Massed Compute) | $4.16 | 16 | $1.73 (H100 SXM) |
| H200 141GB | 시간당 $3.07 | $3.62 (Massed Compute, H200 NVL) | $5.29 | 13 | $3.00 (H200 NVL) |
가격 확인일:
Massed Compute는 $2.73 H100의 폼 팩터를 명시하지 않습니다. Vast.ai 수치: Vast.ai의 공개 가격 피드 기준, 2026년 10월 29일 가장 저렴한 임대 가능 오퍼. 세금 별도.
H200이 메모리 GB당 더 저렴한가요?
네. 2026년 10월 29일 GPUwithCrypto의 가격 조사에 따르면, H200은 H100보다 시간당 33% 비싸지만 메모리 GB당으로는 25% 저렴합니다. 시간당 가격 ÷ GB로 계산했습니다:
- H200: 최저 온디맨드 가격 기준 GB-시간당 2.57센트 ($3.62 ÷ 141), 중앙값 기준 3.75센트 ($5.29 ÷ 141).
- H100: 최저 가격 기준 GB-시간당 3.41센트 ($2.73 ÷ 80), 중앙값 기준 5.20센트 ($4.16 ÷ 80).
중앙값 기준으로 H200이 GB당 28% 저렴합니다. GPUwithCrypto에서 같은 나눗셈으로 $0.022과 $0.029이 나오며, 각 GPU는 명시된 온디맨드 참조 가격보다 최소 15% 낮게 책정되었습니다.
대역폭으로 보면, 최저가 H200은 최저가 H100보다 달러당 GB/s가 8% 더 많습니다(1,326 vs 1,227 GB/s per $/시간, H100은 SXM 수치 기준).
H100과 H200에서 Llama 70B를 서빙하는 데 비용이 얼마인가요?
H200 한 대가 H100 두 대보다 저렴합니다. 계산 예시(가정): Llama 3.1 70B를 FP8(약 84 GB)로 24시간 서빙한다고 가정합니다. H100 두 대 또는 H200 한 대가 필요합니다. 저희가 찾은 최저 가격 기준으로 H200 한 대가 H100 두 대보다 34% 저렴하고, 중앙값 기준으로는 36% 저렴합니다.
H100 두 대는 H200 한 대보다 피크 연산이 두 배입니다. 이는 서빙이 큰 배치에서 연산 바운드일 때만 중요합니다.
Llama 3.1 70B를 FP8로: H100 두 대 또는 H200 한 대
| 가격 기준 | 2 × H100, 24시간 | 1 × H200, 24시간 | 2 × H100, 720시간 | 1 × H200, 720시간 |
|---|---|---|---|---|
| GPUwithCrypto | 2 × $55.68 | $73.68 | 2 × $1,670.40 | $2,210.40 |
| 다른 곳의 최저 온디맨드 | $131.04 | $86.88 | $3,931.20 | $2,606.40 |
| 중앙값 온디맨드 | $199.68 | $126.96 | $5,990.40 | $3,808.80 |
가격 확인일:
실행 시간은 가정입니다. GPU 시간만 포함하며, 제공업체가 부과하는 경우 스토리지와 네트워크는 별도입니다.
H100을 대신 임대해야 할 때는 언제인가요?
모델이 80 GB에 들어갈 때입니다. 그렇다면 H200이 최저 가격(($3.62 ÷ $2.73)) 기준으로 본인 작업을 1.33배 더 빠르게 실행해야 본전을 뽑으며, 중앙값 기준으로는 1.27배($5.29 ÷ $4.16)입니다. 저희 두 가격은 각각 명시된 참조 가격($3.62 및 $2.73)보다 최소 15% 낮게 책정되어 약 1.33배의 비율을 유지합니다.
- 80 GB에 들어가는 연산 바운드 작업: H100이 유리합니다. 피크 연산은 같지만 가격은 다릅니다.
- 80 GB에 들어가는 대역폭 바운드 디코딩: H200의 1.43배 피크 대역폭 우위가 1.33배 가격 차이보다 조금 높습니다. 한 달을 약정하기 전에 본인 워크로드로 테스트하세요.
- 8B 모델 파인튜닝, 70B QLoRA, 노트북: H100, 또는 더 저렴한 A100 80GB.
H200은 단일 GPU에서의 70B급 FP8 서빙, 긴 컨텍스트, 더 적은 GPU에서의 405B 모델, 그리고 단일 8-GPU 노드에서의 DeepSeek-V3 또는 R1에 임대하세요.
H100과 H200에 관한 질문
H200이 H100보다 빠른가요?
연산은 아닙니다: SXM 버전은 동일한 dense 피크인 989.5 TFLOPS BF16과 1,979 TFLOPS FP8을 공유합니다(NVIDIA의 sparse 수치에서 도출). H200은 메모리 대역폭이 1.43배, 메모리가 1.76배 많아 메모리 바운드 디코딩과 대형 모델에 유리합니다.
H200이 H100보다 시간당 얼마나 더 비싼가요?
2026년 10월 29일 저희가 찾은 최저 셀프서비스 온디맨드 가격은 H200이 $3.62, H100이 $2.73로 33% 차이입니다. 중앙값은 $5.29와 $4.16이었습니다. GPUwithCrypto은 시간당 $3.07과 $2.32/시간을 청구합니다.
H200 한 대에서 Llama 3.1 70B를 실행할 수 있나요?
FP8에서는 가능합니다: × 1.2 규칙으로 약 84 GB이며, 141 GB 안에 KV 캐시 공간이 남습니다. BF16에서는 약 168 GB가 필요하므로 H200 두 대가 필요합니다. H100에서는 FP8 버전도 카드 두 장이 필요합니다.
H100 두 대를 임대해야 하나요, H200 한 대를 임대해야 하나요?
80~141 GB 사이 모델이라면 H200 한 대가 좋습니다: 2026년 10월 29일 최저 가격 기준으로 H100 두 대보다 34% 저렴하고 모델을 나눌 필요가 없습니다. 피크 연산이 두 배 필요할 때는 H100 두 대가 합리적입니다.
H200을 암호화폐로 결제할 수 있나요?
네. GPUwithCrypto은 KYC 없이 BTC, USDT, USDC, ETH, SOL, LTC, XMR에 H200을 임대합니다. 2026년 10월 29일 기준 온디맨드 H200 가격을 제공하는 13개 제공업체 중 4곳이 암호화폐를 받습니다: Massed Compute, Paperspace/DigitalOcean, Spheron, 그리고 먼저 KYC를 요구하는 RunPod입니다.
암호화폐로 H200 또는 H100 임대
H200 시간당 $3.07 · H100 $2.32/시간 · 분 단위 청구 · KYC 없이.
출처 (10)
- NVIDIA H200 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA H200 NVL — NVIDIA (read 2026-10-29)
- NVIDIA H100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA H100 PCIe 제품 브리프(PB-11133-001) — NVIDIA (read 2026-10-29)
- The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- DeepSeek-V3 모델 카드 — DeepSeek / Hugging Face (read 2026-10-29)
- Qwen2.5-72B-Instruct 모델 카드 — Qwen / Hugging Face (read 2026-10-29)
- Massed Compute 요금 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Vast.ai 공개 GPU 가격 피드 — Vast.ai (read 2026-10-29)