Jawaban singkat
H100 vs H200: apakah H200 layak dengan biaya ekstra?
H100 vs H200: H200 layak dengan biaya ekstra ketika model Anda tidak muat di 80 GB. Ia punya 141 GB dan bandwidth 1,43 kali, dengan puncak komputasi SXM yang sama. Per 29 Oktober 2026 harganya 33% lebih per jam pada harga on-demand terendah yang kami temukan, namun Llama 3.1 70B dalam FP8 muat di satu H200 alih-alih dua H100. GPUwithCrypto menyewakan keduanya dengan kripto, tanpa KYC: H200 $3.07/jam, H100 $2.32/jam.
Bagaimana perbandingan spesifikasi H100 dan H200?
Angka resmi NVIDIA, dibaca pada 29 Oktober 2026. Angka Tensor adalah puncak TFLOPS dense. NVIDIA mencetak nilai Hopper Tensor hanya dengan sparsity, jadi dense = angka NVIDIA ÷ 2, ditandai (d). Angka puncak bukan benchmark.
| Spesifikasi | H100 SXM | H100 PCIe | H200 SXM | H200 NVL (PCIe) |
|---|---|---|---|---|
| Memori | 80 GB HBM3 | 80 GB HBM2e | 141 GB HBM3e | 141 GB HBM3e |
| Bandwidth memori | 3.350 GB/s | 2.000 GB/s | 4.800 GB/s | 4.800 GB/s |
| FP16 / BF16 Tensor, dense | 989,5 TFLOPS (d) | — | 989,5 TFLOPS (d) | 835,5 TFLOPS (d) |
| FP8 Tensor, dense | 1.979 TFLOPS (d) | — | 1.979 TFLOPS (d) | 1.670,5 TFLOPS (d) |
| NVLink | 900 GB/s | 600 GB/s (bridge) | 900 GB/s | 900 GB/s (bridge 2 atau 4 arah) |
| PCIe | Gen5 | Gen5 | Gen5 | Gen5 |
| Daya maksimum | 700 W | 350 W | 700 W | 600 W |
| Peluncuran | 2022 | 2022 | 2023 | 2024 |
(d) = angka 'with sparsity' NVIDIA ÷ 2. NVIDIA memberi label tabel H200 'Preliminary specifications. May be subject to change.' Tidak ada halaman resmi saat ini yang mencantumkan nilai Tensor H100 PCIe sebagai dense atau sparse.
Apakah H200 lebih cepat daripada H100?
Tidak dalam komputasi mentah. H200 SXM dan H100 SXM berbagi puncak dense yang sama: 989,5 TFLOPS BF16 dan 1.979 TFLOPS FP8. H200 mengubah memorinya: 141 GB alih-alih 80 GB (1,76 kali) dan 4.800 GB/s alih-alih 3.350 GB/s (1,43 kali). Ini angka puncak NVIDIA, bukan benchmark.
- Beban terikat komputasi (training, prefill prompt panjang) tidak mendapat keunggulan puncak dari H200.
- Decoding terikat memori bisa memperoleh hingga rasio bandwidth 1,43× pada puncak.
- Kapasitas adalah keuntungan besarnya. Model yang butuh dua H100 berjalan di satu H200, tanpa pemisahan antar-GPU.
H200 NVL adalah kartu PCIe dengan 141 GB yang sama, batas 600 W, dan puncak lebih rendah (835,5 TFLOPS BF16 dense). Instance memiliki 1 hingga 8 GPU tergantung host. Sebelum memulai, dashboard menampilkan negara, jumlah GPU, form factor (SXM atau PCIe) dan interconnect tiap host.
Model mana yang muat di satu H200 tetapi tidak di satu H100?
Aturan praktis: memori ≈ parameter (miliar) × byte per parameter × 1,2, dengan 2 byte untuk BF16, 1 untuk FP8, dan 0,5 untuk 4-bit (EleutherAI). Konteks panjang menambah KV cache: Llama 3.1 70B memakai 320 KiB per token dalam BF16, jadi satu konteks 131.072 token menambah 42,9 GB. Formula dan model lainnya: panduan VRAM.
| Model dan presisi | Memori yang dibutuhkan | H100 80GB | H200 141GB |
|---|---|---|---|
| Llama 3.1 8B, BF16 | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, fine-tune QLoRA | 52.5 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, FP8 | 84 GB | 2 GPU | 1 GPU |
| Qwen2.5 72B, FP8 | 87.2 GB | 2 GPU | 1 GPU |
| Llama 3.1 70B, FP8 + satu konteks 128K token | ≈ 113 GB | 2 GPU | 1 GPU |
| Llama 3.1 70B, BF16 | 168 GB | 3 GPU | 2 GPU |
| Llama 3.1 405B, 4-bit | 243 GB | 4 GPU | 2 GPU |
| Llama 3.1 405B, FP8 | 486 GB | 7 GPU | 4 GPU |
| DeepSeek-V3 / R1, FP8 (native) | ≈ 805 GB | 11 GPU (lebih dari satu node 8-GPU) | 6 GPU (satu node 8-GPU) |
Naive fit = jumlah kartu yang total memorinya menampung estimasi; ini mengabaikan overhead tensor-parallel dan memori yang direservasi oleh driver. DeepSeek mempublikasikan bobot V3 dan R1 dalam FP8; seluruh 671B parameter harus berada di memori meskipun 37B aktif per token. Angka KV cache menggunakan arsitektur dari paper Llama 3 (80 layer, 8 KV head, ukuran head 128).
Berapa biaya per jam untuk H100 dan H200?
Per GPU-jam, USD. 'Lowest' dan 'median' adalah harga list on-demand self-serve dari pengecekan harga GPUwithCrypto pada 29 Oktober 2026; harga spot dan marketplace tidak disertakan. Vast.ai adalah marketplace, ditampilkan terpisah. Semua GPU: pricing.
| GPU | GPUwithCrypto | Terendah on-demand di tempat lain | Median on-demand | Provider yang dicek | Penawaran terendah Vast.ai |
|---|---|---|---|---|---|
| H100 80GB | $2.32/jam | $2,73 (Massed Compute) | $4.16 | 16 | $1,73 (H100 SXM) |
| H200 141GB | $3.07/jam | $3.62 (Massed Compute, H200 NVL) | $5.29 | 13 | $3.00 (H200 NVL) |
Harga diperiksa pada
Massed Compute tidak menyebutkan form factor H100 seharga $2.73 miliknya. Angka Vast.ai: feed harga publik Vast.ai, penawaran sewa termurah pada 29 Oktober 2026. Pajak tidak termasuk.
Apakah H200 lebih murah per GB memori?
Ya. Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, H200 berbiaya 33% lebih tinggi per jam daripada H100 tetapi 25% lebih murah per GB memori. Dihitung sebagai harga per jam ÷ GB:
- H200: 2,57 sen per GB-jam pada harga on-demand terendah ($3.62 ÷ 141), 3,75 sen pada median ($5.29 ÷ 141).
- H100: 3,41 sen per GB-jam pada harga terendah ($2.73 ÷ 80), 5,20 sen pada median ($4.16 ÷ 80).
Pada median, H200 28% lebih murah per GB. Pada GPUwithCrypto, pembagian yang sama menghasilkan $0.022 dan $0.029, dengan setiap GPU dihargai setidaknya 15% di bawah referensi on-demand yang disebutkan.
Untuk bandwidth, H200 berharga terendah memberikan 8% lebih banyak GB/s per dolar daripada H100 berharga terendah (1.326 vs 1.227 GB/s per $/jam, dengan H100 pada angka SXM-nya).
Berapa biaya untuk melayani Llama 70B di H100 vs H200?
Satu H200 lebih murah daripada dua H100. Contoh perhitungan (asumsi): Anda melayani Llama 3.1 70B dalam FP8 (≈ 84 GB) sepanjang waktu. Itu membutuhkan dua H100 atau satu H200. Pada harga terendah yang kami temukan, satu H200 34% lebih murah daripada dua H100; pada median, 36% lebih murah.
Dua H100 memang memberikan dua kali peak math dibanding satu H200. Itu hanya penting jika serving Anda terbatas komputasi (compute-bound) pada batch besar.
Llama 3.1 70B dalam FP8: dua H100 atau satu H200
| Dasar harga | 2 × H100, 24 jam | 1 × H200, 24 jam | 2 × H100, 720 jam | 1 × H200, 720 jam |
|---|---|---|---|---|
| GPUwithCrypto | 2 × $55.68 | $73.68 | 2 × $1,670.40 | $2,210.40 |
| Terendah on-demand di tempat lain | $131.04 | $86.88 | $3,931.20 | $2,606.40 |
| Median on-demand | $199.68 | $126.96 | $5,990.40 | $3,808.80 |
Harga diperiksa pada
Jam operasional adalah asumsi. Hanya waktu GPU; storage dan jaringan dikenakan biaya tambahan jika penyedia menagihnya.
Kapan saya sebaiknya menyewa H100?
Ketika model muat dalam 80 GB. Maka H200 harus menjalankan pekerjaan Anda 1,33 kali lebih cepat agar sepadan pada harga terendah ($3.62 ÷ $2.73), atau 1,27 kali pada median ($5.29 ÷ $4.16). Kedua harga kami menjaga rasio 1,33 yang kurang lebih sama, karena masing-masing berada setidaknya 15% di bawah referensi yang disebutkan ($3.62 dan $2.73).
- Pekerjaan compute-bound yang muat dalam 80 GB: H100 menang. Peak math sama, harganya tidak.
- Decoding bandwidth-bound yang muat dalam 80 GB: keunggulan bandwidth puncak H200 sebesar 1,43× sedikit di atas selisih harga 1,33×. Uji beban kerja Anda sendiri sebelum berkomitmen untuk sebulan.
- Fine-tuning model 8B, QLoRA pada 70B, notebook: H100, atau A100 80GB yang lebih murah.
Sewalah H200 untuk serving FP8 kelas 70B pada satu GPU, konteks panjang, model 405B pada lebih sedikit GPU, dan DeepSeek-V3 atau R1 pada satu node 8-GPU.
Pertanyaan tentang H100 dan H200
Apakah H200 lebih cepat daripada H100?
Bukan untuk math: versi SXM berbagi peak dense yang sama, 989,5 TFLOPS BF16 dan 1.979 TFLOPS FP8 (diturunkan dari angka sparse NVIDIA). H200 memiliki bandwidth memori 1,43 kali dan memori 1,76 kali, yang membantu decoding yang memory-bound dan model besar.
Berapa lebih mahal H200 per jam dibandingkan H100?
Pada 29 Oktober 2026, harga on-demand self-serve terendah yang kami temukan adalah $3.62 untuk H200 dan $2.73 untuk H100, selisih 33%. Mediannya adalah $5.29 dan $4.16. GPUwithCrypto menagih $3.07/jam dan $2.32/jam.
Bisakah saya menjalankan Llama 3.1 70B pada satu H200?
Ya dalam FP8: sekitar 84 GB dengan aturan × 1,2, menyisakan ruang untuk KV cache dalam 141 GB. Dalam BF16 dibutuhkan sekitar 168 GB, sehingga perlu dua H200. Pada H100, versi FP8 membutuhkan dua kartu.
Sebaiknya saya menyewa dua H100 atau satu H200?
Untuk model antara 80 dan 141 GB, satu H200: harganya 34% lebih murah daripada dua H100 pada harga terendah 29 Oktober 2026 dan menghindari pemisahan model. Dua H100 masuk akal ketika Anda membutuhkan dua kali peak math.
Bisakah saya membayar H200 dengan kripto?
Ya. GPUwithCrypto menyewakan H200 seharga BTC, USDT, USDC, ETH, SOL, LTC, XMR, tanpa KYC. Dari 13 penyedia dengan harga H200 on-demand pada 29 Oktober 2026, 4 menerima kripto: Massed Compute, Paperspace/DigitalOcean, Spheron, dan RunPod, yang meminta KYC terlebih dahulu.
Sewa H200 atau H100 dengan kripto
H200 $3.07/jam · H100 $2.32/jam · ditagih per menit · tanpa KYC.
Sumber (10)
- NVIDIA H200 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA H200 NVL — NVIDIA (read 2026-10-29)
- NVIDIA H100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA H100 PCIe product brief (PB-11133-001) — NVIDIA (read 2026-10-29)
- The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- DeepSeek-V3 model card — DeepSeek / Hugging Face (read 2026-10-29)
- Qwen2.5-72B-Instruct model card — Qwen / Hugging Face (read 2026-10-29)
- Harga Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Feed harga GPU publik Vast.ai — Vast.ai (read 2026-10-29)