빠른 답변
AI용 RTX 5090 vs H100: 언제 저렴한 카드로 충분할까?
AI용 RTX 5090 vs H100: 저렴한 카드로 충분한 경우는 모델, 컨텍스트, 배치가 32 GB에 들어갈 때입니다. 7B–8B LLM 추론과 LoRA, SDXL 및 FLUX 이미지 생성이 여기에 해당합니다. 70B 모델, NVLink 학습, 또는 32 GB를 넘는 모든 작업에는 H100을 임대하세요. 2026년 10월 29일 기준으로 저희가 찾은 최저 온디맨드 가격에서 H100은 시간당 5.5배 더 비쌌습니다. GPUwithCrypto는 RTX 5090을 시간당 $0.42로 임대하며, 암호화폐로 결제하고 KYC가 없습니다.
RTX 5090과 H100의 스펙은 어떻게 비교되나요?
2026년 10월 29일에 확인한 NVIDIA 공식 수치입니다. Tensor 수치는 dense 피크 TFLOPS입니다. GeForce 카드는 Tensor 속도가 두 가지이며, 표에는 혼합 정밀도 학습과 FP8 추론 커널이 사용하는 FP32 누산 기준 속도를 씁니다. 피크 수치는 벤치마크가 아닙니다.
| 사양 | GeForce RTX 5090 | H100 SXM | H100 PCIe |
|---|---|---|---|
| 아키텍처 | Blackwell | Hopper | Hopper |
| 메모리 | 32 GB GDDR7 | 80 GB HBM3 | 80 GB HBM2e |
| 메모리 대역폭 | 1,792 GB/s | 3,350 GB/s | 2,000 GB/s |
| FP16 / BF16 Tensor, dense | 209.5 TFLOPS | 989.5 TFLOPS (d) | — |
| FP8 Tensor, dense | 419 TFLOPS | 1,979 TFLOPS (d) | — |
| FP4 Tensor, dense | 1,676 TFLOPS | — | — |
| NVLink | NVIDIA 미표기 | 900 GB/s | 600 GB/s (브리지) |
| PCIe | Gen5 | Gen5 | Gen5 |
| 최대 전력 | 575 W(총 그래픽 전력) | 700 W | 350 W |
| 출시 | 2025 | 2022 | 2022 |
(d) = NVIDIA는 H100 Tensor 값을 스파시티 기준으로만 표기합니다. dense = ÷ 2. FP16 누산 기준으로는 RTX 5090이 두 배가 됩니다(FP16 419, FP8 838 TFLOPS dense). NVIDIA의 5090 '3,352 AI TOPS'는 sparse FP4입니다. 현재 공식 페이지 중 H100 PCIe Tensor 값을 dense 또는 sparse로 제공하는 곳은 없습니다.
H100은 RTX 5090보다 얼마나 빠른가요?
피크 기준으로 H100 SXM은 RTX 5090의 dense BF16 및 FP8 연산의 4.72배를 수행합니다(989.5 vs 209.5, 1,979 vs 419 TFLOPS). 메모리 대역폭은 1.87배(3,350 vs 1,792 GB/s), 메모리는 2.5배입니다. 이는 NVIDIA의 피크 수치이며 벤치마크가 아닙니다.
RTX 5090에는 한 가지 우위가 있습니다: Hopper에 없는 FP4 Tensor Cores(1,676 TFLOPS dense)입니다. 다만 FP4로 양자화된 모델에만 도움이 됩니다.
가격 차이는 연산 차이보다 큽니다. 저희가 찾은 최저 온디맨드 가격에서 H100은 시간당 5.46배 더 비쌌고($2.73 ÷ $0.50), 중앙값에서는 4.95배였습니다($4.16 ÷ $0.84). 달러당으로는 RTX 5090이 최저 가격에서 피크 BF16 연산을 16% 더 제공하고(시간당 $당 419 vs 362 TFLOPS), 중앙값에서는 5% 더 제공합니다.
어떤 모델이 32 GB에 들어가고, 어떤 모델이 H100을 필요로 하나요?
추론용 경험칙: 메모리 ≈ 파라미터 수(십억) × 파라미터당 바이트 × 1.2, 여기서 BF16은 2바이트, FP8은 1, 4-bit은 0.5입니다(EleutherAI). 긴 컨텍스트는 KV 캐시를 추가합니다: BF16의 Llama 3.1 8B는 토큰당 128 KiB입니다. 공식: VRAM 가이드.
| 모델 및 작업 | 필요한 메모리 | RTX 5090 32GB | H100 80GB |
|---|---|---|---|
| SDXL 1.0 base, FP16 | 7 GB 가중치 | 1 GPU | 1 GPU |
| FLUX.1 [dev], FP8 | 12 GB 가중치 | 1 GPU | 1 GPU |
| FLUX.1 [dev], BF16 | 24 GB 가중치 + 텍스트 인코더 | GPU 1개, 인코더는 CPU로 오프로드 | 1 GPU |
| FLUX.1 [dev], LoRA 파인튜닝 | 28.8 GB | GPU 1개, 빠듯함 | 1 GPU |
| Mistral 7B, BF16 | 17.5 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, BF16 | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, LoRA 파인튜닝 | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, BF16 + 128K 토큰 컨텍스트 1개 | 16 + 17.2 = 33.2 GB | FP8 KV 캐시를 사용할 때만 (≈ 24.6 GB) | 1 GPU |
| Llama 3.1 70B, 4-bit | 42 GB | GPU 2개 | 1 GPU |
| Llama 3.1 70B, QLoRA 파인튜닝 | 52.5 GB | GPU 2개 | 1 GPU |
| Llama 3.1 70B, FP8 | 84 GB | GPU 3개 | GPU 2개 |
단순 계산 적합성 = 추정치를 총 메모리에 담을 수 있는 카드 수이며, 멀티 GPU 오버헤드와 드라이버가 예약한 메모리는 무시합니다. FLUX.1 파이프라인은 T5-XXL, CLIP-L, VAE도 로드합니다(12B 수치에는 포함되지 않음). 이들은 스텝 사이에 CPU로 오프로드할 수 있습니다. FP8 KV 캐시는 캐시 크기를 절반으로 줄입니다. LoRA 계획 = 파라미터당 2바이트 × 1.2, QLoRA ≈ 10억 파라미터당 0.75 GB.
RTX 5090과 H100은 시간당 얼마인가요?
GPU-시간당, USD. '최저'와 '중앙값'은 2026년 10월 29일 GPUwithCrypto의 가격 조사에서 나온 셀프서비스 온디맨드 정가이며, 스팟 및 마켓플레이스 가격은 제외했습니다. Vast.ai는 마켓플레이스이므로 별도로 표시했습니다. 모든 GPU: 가격.
| GPU | GPUwithCrypto | 다른 곳의 최저 온디맨드 | 중앙값 온디맨드 | 조사한 제공업체 | Vast.ai 최저 오퍼 |
|---|---|---|---|---|---|
| RTX 5090 32GB | 시간당 $0.42 | $0.50 (Salad, High Priority) | $0.84 | 3 | $0.39 |
| H100 80GB | $2.32/시간 | $2.73 (Massed Compute) | $4.16 | 16 | $1.73 (H100 SXM) |
가격 확인일:
Salad는 자사의 가격 변경 공지에 따라 2026년 11월 1일에 RTX 5090 High Priority 가격을 $0.60으로 인상합니다. RTX 5090을 제공하는 세 곳은 Salad, Spheron($0.84), RunPod($1.19)입니다. Vast.ai 수치: Vast.ai의 공개 가격 피드, 2026년 10월 29일 기준 가장 저렴한 대여 가능 오퍼.
각 GPU에서 VRAM 1 GB의 시간당 비용은 얼마인가요?
GPUwithCrypto의 2026년 10월 29일 가격 조사에 따르면, RTX 5090 메모리 1 GB의 시간당 비용은 H100 메모리 1 GB보다 54% 저렴합니다. 시간당 가격 ÷ GB로 계산했습니다:
- RTX 5090: 최저 온디맨드 가격에서 GB-시간당 1.56센트($0.50 ÷ 32), 중앙값에서 2.63센트($0.84 ÷ 32).
- H100: 최저 가격에서 GB-시간당 3.41센트($2.73 ÷ 80), 중앙값에서 5.20센트($4.16 ÷ 80).
중앙값 기준으로 RTX 5090은 GB당 비용이 약 절반입니다. GPUwithCrypto의 경우 같은 나눗셈으로 $0.013와 $0.029이 나오며, 각 GPU는 명시된 온디맨드 기준가보다 최소 15% 저렴합니다. 단점: 5090 한 장으로는 32 GB를 넘는 GB를 살 수 없습니다.
RTX 5090과 H100에서 작업 하나에 드는 비용은 얼마인가요?
32 GB에 들어가는 작업이라면, H100이 최대 피크 이점을 모두 발휘하더라도 RTX 5090이 더 저렴합니다. H100은 피크에서 4.72배 빠르지만 시간당 비용은 최저 가격 기준 5.46배, 중앙값 기준 4.95배 더 비쌉니다. 저희의 두 가격은 각각 명시된 기준가($0.50와 $2.73)보다 최소 15% 저렴하므로 GPUwithCrypto의 비율도 거의 같습니다.
계산 예시(가정이며 벤치마크가 아님): FLUX LoRA 실행이나 이미지 배치가 RTX 5090 한 장에서 10시간 걸린다고 가정합니다. H100 SXM에서는 4.72배의 수학적 비율을 온전히 적용하면 2.1시간, 1.87배의 대역폭 비율을 적용하면 5.3시간 걸립니다.
같은 작업의 비용 (RTX 5090 10시간 가정)
| 가격 기준 | RTX 5090, 10시간 | H100, 2.1시간 (4.72배 빠름) | H100, 5.3시간 (1.87배 빠름) |
|---|---|---|---|
| GPUwithCrypto | US$4.20 | $4.87 | $12.30 |
| 다른 곳의 최저 온디맨드 | $5.00 | $5.73 | $14.47 |
| 중앙값 온디맨드 | $8.40 | $8.74 | $22.05 |
가격 확인일:
시간은 가정이며, 속도 비율은 NVIDIA 피크 수치(H100 SXM)입니다. 2026년 11월 1일부터 Salad의 $0.60 RTX 5090 가격으로 최저 가격 비율이 4.55로 내려가 4.72의 피크 비율보다 낮아집니다.
언제 H100이 필요한가요?
저렴한 카드의 메모리가 부족하거나 GPU 간 링크가 부족할 때 H100을 대여하세요:
- GPU 한 장에 32 GB를 넘는 모델: 4-bit의 Llama 3.1 70B(42 GB), 70B의 QLoRA(52.5 GB), BF16 캐시에서 긴 컨텍스트를 쓰는 8B 모델.
- 멀티 GPU 학습: H100 SXM NVLink는 900 GB/s로 작동합니다. NVIDIA의 RTX 5090 페이지에는 NVLink가 언급되지 않으므로 멀티 GPU 작업은 PCIe Gen5로 계획하세요.
- 대규모 배치 서빙 또는 기한이 있는 학습: dense 피크 수학의 4.72배.
ComfyUI, SDXL, FLUX, 32 GB에 들어가는 비디오 모델, 7B–8B 채팅 모델, LoRA 실행에는 RTX 5090을 대여하세요. ComfyUI와 Flux에 가장 좋은 GPU를 참고하세요. H100보다 저렴한 가격으로 80 GB를 원하시면 H100 vs A100을 읽어보세요.
RTX 5090과 H100에 관한 질문
RTX 5090은 AI에 적합한가요?
네, 32 GB에 들어가는 작업에는 적합합니다: 7B–8B LLM 추론과 LoRA, SDXL 및 FLUX 이미지 생성. 209.5 dense BF16 TFLOPS, 419 dense FP8 TFLOPS, FP4 Tensor Core를 갖추었으며, 2026년 10월 29일 기준 H100의 시간당 가격의 약 5분의 1입니다.
RTX 5090으로 Llama 3.1 70B를 실행할 수 있나요?
한 장으로는 안 됩니다. 4-bit에서는 약 42 GB가 필요하므로 RTX 5090 두 장, FP8에서는 약 84 GB이므로 세 장이 필요합니다. H100 80GB 한 장이면 4-bit 버전을 실행할 수 있습니다.
RTX 5090이 H100보다 빠른가요?
아니요. NVIDIA 피크 수치로 H100 SXM은 dense BF16 및 FP8 수학에서 4.72배, 대역폭에서 1.87배입니다. 5090은 H100에 없는 FP4 Tensor Core를 갖추었고 시간당 비용이 훨씬 저렴합니다.
RTX 5090을 시간당 대여하는 비용은 얼마인가요?
2026년 10월 29일 기준 저희가 찾은 가장 저렴한 셀프서비스 온디맨드 가격은 $0.50(Salad, 11월 1일에 $0.60으로 인상)이었고 3개 제공업체의 중앙값은 $0.84였습니다. Vast.ai의 공개 가격 피드에는 가장 저렴한 마켓플레이스 오퍼가 $0.39로 나왔습니다. GPUwithCrypto는 시간당 $0.42를 청구합니다.
암호화폐로 RTX 5090을 대여할 수 있나요?
네. GPUwithCrypto는 KYC 없이 카드 없이 BTC, USDT, USDC, ETH, SOL, LTC에 대여합니다. 온디맨드 RTX 5090 가격을 제공하는 나머지 세 곳도 암호화폐를 받습니다: Salad, Spheron, 그리고 첫 암호화폐 결제 전에 KYC를 요구하는 RunPod입니다.
암호화폐로 RTX 5090 또는 H100 대여
RTX 5090 시간당 $0.42 · H100 $2.32/시간 · 분 단위 과금 · KYC 없이.
출처 (11)
- NVIDIA GeForce RTX 5090 — NVIDIA (read 2026-10-29)
- NVIDIA RTX Blackwell GPU 아키텍처 백서 — NVIDIA (read 2026-10-29)
- NVIDIA H100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA H100 PCIe 제품 브리프(PB-11133-001) — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
- FLUX.1 [dev] 모델 카드 — Black Forest Labs / Hugging Face (read 2026-10-29)
- SDXL 1.0 발표 — Stability AI (read 2026-10-29)
- SaladCloud 가격 변경, 2026년 11월 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Massed Compute 요금 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Vast.ai 공개 GPU 가격 피드 — Vast.ai (read 2026-10-29)