빠른 답변
H100 vs A100: 어느 것을 임대해야 할까요?
H100 vs A100: 메모리 바운드 추론과 80 GB에 들어가는 모델의 LoRA 파인튜닝에는 A100 80GB를 임대하세요. 연산 바운드 학습, FP8, 빠르게 끝내야 하는 작업에는 H100을 임대하세요. 2026년 10월 29일 기준으로 GPUwithCrypto는 H100을 $2.32/시간에, A100 80GB를 시간당 $0.92에 임대하며, KYC 없이 암호화폐로 결제합니다. H100은 작업을 약 2.5배 더 빠르게 실행할 때만 이득입니다.
H100과 A100의 사양은 어떻게 비교되나요?
2026년 10월 29일에 확인한 NVIDIA 공식 수치입니다. Tensor 수치는 dense 피크 TFLOPS입니다. NVIDIA는 H100 Tensor 값을 희소성 적용 시에만 표기하므로, H100 dense 값은 NVIDIA 수치 ÷ 2이며 (d)로 표시했습니다. 피크 수치는 벤치마크가 아닙니다.
| 사양 | H100 SXM | H100 PCIe | A100 80GB SXM | A100 80GB PCIe |
|---|---|---|---|---|
| 아키텍처 | Hopper | Hopper | Ampere | Ampere |
| 메모리 | 80 GB HBM3 | 80 GB HBM2e | 80 GB HBM2e | 80 GB HBM2e |
| 메모리 대역폭 | 3,350 GB/s | 2,000 GB/s | 2,039 GB/s | 1,935 GB/s |
| FP16 / BF16 Tensor, dense | 989.5 TFLOPS (d) | — (1) | 312 TFLOPS | 312 TFLOPS |
| FP8 Tensor, dense | 1,979 TFLOPS (d) | — | N/A (2) | N/A (2) |
| NVLink | 900 GB/s | 600 GB/s (브리지) | 600 GB/s | 600 GB/s (2-GPU 브리지) |
| PCIe | Gen5 | Gen5 | Gen4 | Gen4 |
| 최대 전력 | 700 W | 350 W | 400 W | 300 W |
| 출시 | 2022 | 2022 | 2020 | 2021 |
(d) NVIDIA는 sparsity 적용 시 1,979 TFLOPS(BF16)와 3,958 TFLOPS(FP8)로 표기합니다. dense는 그 절반입니다. A100의 sparse 수치는 624 TFLOPS입니다. (1) 현재 공식 페이지 중 H100 PCIe의 Tensor 값을 dense 또는 sparse로 명시한 곳은 없습니다. 한 NVIDIA 블로그는 어느 쪽인지 밝히지 않은 채 1,513 TFLOPS BF16을 인용합니다. (2) NVIDIA는 Ampere에서 FP8을 사용할 수 없는 것으로 표기합니다.
H100과 A100 중 어느 쪽이 더 빠릅니까?
스펙상 H100 SXM은 A100의 dense BF16 연산량의 3.17배(989.5 대 312 TFLOPS)이고 메모리 대역폭은 1.64배(3,350 대 2,039 GB/s)입니다. 이는 벤치마크가 아니라 NVIDIA의 피크 수치입니다. 이 두 비율은 측정된 속도가 아니라 계획 수립의 상한으로 사용하세요.
- 연산 집약 작업(학습, 큰 배치에서의 파인튜닝, 긴 프롬프트 prefill)은 TFLOPS 비율에 더 가깝게 따라갑니다.
- 메모리 집약 작업(작은 배치에서의 토큰 단위 LLM 디코딩)은 대역폭 비율에 더 가깝게 따라갑니다.
- FP8은 H100의 Tensor Cores에서 dense 1,979 TFLOPS로 실행됩니다. A100에는 FP8 Tensor Cores가 없으므로 FP8 체크포인트는 여기서 FP8 속도 향상을 얻지 못합니다.
H100 PCIe는 다른 카드입니다. 2,000 GB/s는 A100 80GB PCIe의 1,935 GB/s에 가깝습니다. 인스턴스는 호스트에 따라 GPU 1~8개를 가집니다. 시작하기 전에 대시보드에서 각 호스트의 국가, GPU 수, 폼 팩터(SXM 또는 PCIe), 인터커넥트를 확인할 수 있습니다.
어떤 모델이 H100이나 A100에 맞습니까?
둘 다 80 GB이므로 같은 모델이 양쪽에 맞습니다. 경험칙은 메모리 ≈ 파라미터 수(십억) × 파라미터당 바이트 × 1.2이며, BF16은 2바이트, FP8/INT8은 1바이트, 4-bit는 0.5바이트입니다. 20%는 적당한 context와 배치에서의 KV cache와 활성화 값을 감당하는 몫입니다(EleutherAI). 긴 context에는 더 필요합니다. VRAM 가이드를 참조하세요.
| 모델 및 정밀도 | 필요한 메모리 | H100 80GB | A100 80GB |
|---|---|---|---|
| Llama 3.1 8B, BF16 추론 | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, LoRA 파인튜닝(계획) | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, 전체 파인튜닝 | 128–144 GB + 활성화 값 | GPU 2개 이상 | GPU 2개 이상 |
| Llama 3.1 70B, 4-bit 추론 | 42 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, QLoRA 파인튜닝 | 52.5 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, FP8 추론 | 84 GB | GPU 2개 | GPU 2개, FP8 속도 향상 없음 |
| Qwen2.5 72B, FP8 추론 | 87.2 GB | GPU 2개 | GPU 2개, FP8 속도 향상 없음 |
| Llama 3.1 70B, BF16 추론 | 168 GB | GPU 3개 | GPU 3개 |
| Llama 3.1 405B, FP8 추론 | 486 GB | GPU 7개 | GPU 7개, FP8 속도 향상 없음 |
단순 계산 = 추정치를 담을 수 있는 80 GB 카드의 개수입니다. 텐서 병렬 오버헤드와 드라이버가 예약하는 메모리는 무시합니다. LoRA 계획 = 파라미터당 2바이트 × 1.2. QLoRA ≈ 10억 파라미터당 0.75 GB로, 48 GB GPU 하나에서 QLoRA 논문의 65B 모델로 보정했습니다. 전체 파인튜닝 = 파라미터당 16~18바이트(EleutherAI, Hugging Face).
H100과 A100은 시간당 얼마인가요?
GPU 시간당, USD. '최저'와 '중앙값'은 GPUwithCrypto의 2026년 10월 29일 가격 조사에서 나온 셀프서비스 온디맨드 정가이며, 스팟 및 마켓플레이스 가격은 둘 다에서 제외됩니다. Vast.ai는 마켓플레이스이므로 그 수치는 따로 표시합니다. 모든 GPU 가격은 가격 페이지에서 확인할 수 있습니다.
| GPU | GPUwithCrypto | 다른 곳의 최저 온디맨드 | 중앙값 온디맨드 | 조사한 제공업체 | Vast.ai 최저 오퍼 |
|---|---|---|---|---|---|
| H100 80GB | $2.32/시간 | $2.73 (Massed Compute) | $4.16 | 16 | $1.73 (H100 SXM) |
| A100 80GB | 시간당 $0.92 | $1.09 (Thunder Compute) | $2.23 | 13 | $0.48 (SXM), $0.34 (PCIe) |
가격 확인일:
Massed Compute와 Thunder Compute는 이 카드들의 폼 팩터를 명시하지 않습니다. Vast.ai 수치: Vast.ai의 공개 가격 피드 기준, 2026년 10월 29일 가장 저렴한 임대 가능 오퍼. 세금 제외.
각 GPU에서 VRAM 1 GB의 시간당 비용은 얼마인가요?
GPUwithCrypto의 2026년 10월 29일 가격 조사에 따르면, A100 메모리 1 GB는 H100 메모리 1 GB보다 시간당 비용이 2.5배 적습니다. 시간당 가격 ÷ 80 GB로 계산했습니다:
- A100 80GB: 최저 온디맨드 가격에서 GB-시간당 1.36센트($1.09 ÷ 80), 중앙값에서 2.79센트($2.23 ÷ 80).
- H100 80GB: 최저 가격에서 GB-시간당 3.41센트($2.73 ÷ 80), 중앙값에서 5.20센트($4.16 ÷ 80).
중앙값에서는 격차가 1.87배로 줄어듭니다. GPUwithCrypto에서는 같은 나눗셈으로 $0.012와 $0.029이 나오며, 각 GPU는 명시된 온디맨드 기준가보다 최소 15% 낮게 책정됩니다.
최저 가격 기준 달러당으로, H100 SXM은 최대 BF16 연산이 27% 더 많습니다($/시간당 362 vs 286 TFLOPS). A100 SXM은 달러당 대역폭이 52% 더 많습니다($/시간당 1,871 vs 1,227 GB/s). 작업이 연산보다 메모리를 더 필요로 한다면 A100이 더 저렴한 80 GB입니다.
H100과 A100에서 작업 하나의 비용은 얼마인가요?
H100은 가격 프리미엄보다 작업을 더 빠르게 처리할 때만 작업당 비용이 더 저렴합니다. 그 손익분기점은 저희가 찾은 최저 가격 기준 2.50배($2.73 ÷ $1.09), 중앙값 기준 1.87배($4.16 ÷ $2.23)입니다. 두 GPUwithCrypto 가격 모두 명시된 기준가보다 최소 15% 낮으므로(Massed Compute은 $2.73, Thunder Compute은 $1.09), 저희 손익분기점도 약 2.5배입니다.
계산 예시(가정이며 벤치마크가 아님): 파인튜닝 작업이 A100 80GB 한 개에서 24시간 걸린다고 합시다. H100 SXM에서는 BF16 최대 비율 3.17배를 모두 얻으면 7.6시간, 대역폭 비율 1.64배만 얻으면 14.6시간이 걸립니다.
같은 작업의 비용(24 A100-시간 가정)
| 가격 기준 | A100 80GB, 24시간 | H100, 7.6시간(3.17배 빠름) | H100, 14.6시간(1.64배 빠름) |
|---|---|---|---|
| GPUwithCrypto | $22.08 | $17.63 | $33.87 |
| 다른 곳의 최저 온디맨드 | $26.16 | $20.75 | $39.86 |
| 중앙값 온디맨드 | $53.52 | $31.62 | $60.74 |
가격 확인일:
시간은 가정이며, 속도 비율은 NVIDIA SXM 최대 수치입니다. GPUwithCrypto은 분 단위로 청구하므로 7.6시간 실행은 7.6시간으로 청구됩니다.
A100 대신 H100을 언제 임대해야 하나요?
다음 중 하나라도 해당하면 H100을 임대하세요:
- 대규모 배치로 학습하거나 파인튜닝할 때. 연산 집약 작업은 3.17배 최대 비율에 더 가깝게 따라가며, 그 비율은 2.5배 손익분기점보다 높습니다.
- FP8 모델을 서빙할 때. H100만 FP8 Tensor Cores를 가집니다(1,979 TFLOPS dense).
- 여러 GPU가 빠르게 통신해야 할 때. H100 SXM NVLink는 900 GB/s로 동작하며, A100은 600 GB/s입니다.
- 요금보다 마감 기한이 중요할 때.
모델이 80 GB에 맞고 작업이 메모리 집약적일 때는 A100 80GB를 임대하세요: 소규모 배치 채팅 추론, LoRA 및 QLoRA 실행, 평가, 노트북. 80 GB가 너무 작다면 H100 vs H200을 읽어 보세요. 더 저렴한 48 GB 카드는 L40S vs A100을 읽어 보세요.
H100과 A100에 관한 질문
H100이 A100보다 그만한 가치가 있나요?
작업을 최저 시간당 가격 비율인 약 2.5배(2026년 10월 29일 기준)보다 더 빠르게 처리할 때만 그렇습니다. NVIDIA 최대 수치로 H100 SXM은 dense BF16 연산이 3.17배, 대역폭이 1.64배입니다. 연산 집약 학습은 최대치에서 그 기준을 넘지만, 대역폭 집약 추론은 넘지 못합니다.
H100은 A100과 비교해 시간당 얼마인가요?
2026년 10월 29일 저희가 찾은 최저 셀프서비스 온디맨드 가격은 H100 80GB가 $2.73, A100 80GB가 $1.09였으며, 중앙값은 각각 $4.16과 $2.23이었습니다. GPUwithCrypto은 $2.32/시간과 시간당 $0.92을 청구하며, 암호화폐로 결제합니다.
A100으로 FP8 모델을 실행할 수 있나요?
메모리 계산은 동일하지만, NVIDIA는 Ampere에서 FP8을 사용할 수 없는 것으로 표기하므로 A100에는 FP8 Tensor Core 가속이 없습니다. H100은 FP8을 1,979 dense TFLOPS로 실행하며, 이는 NVIDIA의 3,958 sparse 수치의 절반입니다.
Llama 3.1 70B를 H100 또는 A100 한 장에서 실행할 수 있나요?
4-bit에서만 가능합니다: × 1.2 규칙으로 약 42 GB이며, 80 GB 카드 한 장에 들어갑니다. FP8에서는 약 84 GB(카드 두 장), BF16에서는 약 168 GB(카드 세 장)가 필요합니다. 141 GB의 H200 한 장이면 FP8 버전이 들어갑니다.
암호화폐로 KYC 없이 H100 또는 A100을 대여할 수 있나요?
네. GPUwithCrypto은 두 모델을 분 단위로 대여하며 BTC, USDT, USDC, ETH, SOL, LTC, XMR로 결제하고, 신분증, 셀피, 카드가 필요 없습니다. 2026년 10월 29일에 확인한 33개 GPU 제공업체 중 14곳이 암호화폐를 받으며, RunPod는 첫 암호화폐 결제 전에 KYC를 요구합니다.
암호화폐로 H100 또는 A100 대여하기
H100 $2.32/시간 · A100 80GB 시간당 $0.92 · 분 단위 과금 · KYC 없이.
출처 (12)
- NVIDIA H100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA H100 PCIe 제품 브리프(PB-11133-001) — NVIDIA (read 2026-10-29)
- NVIDIA, Hopper 아키텍처(HBM3) 발표 — NVIDIA (read 2026-10-29)
- NVIDIA A100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA A100 데이터시트 — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- 모델 메모리 구성 — Hugging Face (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Llama 3.1 70B 모델 카드 — Meta / Hugging Face (read 2026-10-29)
- Massed Compute 요금 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thunder Compute 요금 thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Vast.ai 공개 GPU 가격 피드 — Vast.ai (read 2026-10-29)