H100 vs A100: quale dovrei noleggiare?

Qual è più veloce, l'H100 o l'A100?

Sulla carta, l'H100 SXM offre 3,17 volte il calcolo BF16 dense di un'A100 (989,5 contro 312 TFLOPS) e ha 1,64 volte la larghezza di banda della memoria (3.350 contro 2.039 GB/s). Sono i valori di picco di NVIDIA, non benchmark. Usa i due rapporti come limiti di pianificazione, non come velocità misurata.

• Carichi bound sul calcolo (training, fine-tuning con batch grande, prefill di prompt lunghi) seguono più da vicino il rapporto TFLOPS.
• Carichi bound sulla memoria (decoding LLM token per token con batch piccolo) seguono più da vicino il rapporto di larghezza di banda.
• FP8 gira sui Tensor Core dell'H100 a 1.979 TFLOPS dense. L'A100 non ha Tensor Core FP8, quindi un checkpoint FP8 non riceve alcuno speed-up FP8 lì.

L'H100 PCIe è una scheda diversa. I suoi 2.000 GB/s sono vicini ai 1.935 GB/s di un'A100 80GB PCIe. Le istanze hanno da 1 a 8 GPU a seconda dell'host. Prima di avviare, la dashboard mostra per ogni host il paese, il numero di GPU, il form factor (SXM o PCIe) e l'interconnessione.

Quanto costa all'ora un GB di VRAM su ciascuna?

Secondo il controllo prezzi di GPUwithCrypto del 29 ottobre 2026, un GB di memoria A100 costa 2,5 volte meno all'ora di un GB di memoria H100. Calcolato come prezzo orario ÷ 80 GB:

• A100 80GB: 1,36 centesimi per GB-ora al prezzo on-demand più basso ($1.09 ÷ 80), 2,79 centesimi alla mediana ($2.23 ÷ 80).
• H100 80GB: 3,41 centesimi per GB-ora al prezzo più basso ($2.73 ÷ 80), 5,20 centesimi alla mediana ($4.16 ÷ 80).

Alla mediana il divario scende a 1,87 volte. Su GPUwithCrypto la stessa divisione dà $0.012 e $0.029, con ogni GPU prezzata almeno il 15% sotto il suo riferimento on-demand indicato.

Per dollaro ai prezzi più bassi, la H100 SXM offre il 27% in più di calcolo BF16 di picco (362 vs 286 TFLOPS per $/ora). La A100 SXM offre il 52% in più di bandwidth per dollaro (1.871 vs 1.227 GB/s per $/ora). Se il tuo job ha più bisogno di memoria che di calcolo, la A100 è la 80 GB più economica.

Quanto costa un singolo job su una H100 rispetto a una A100?

La H100 costa meno per job solo quando esegue il job più velocemente del suo sovrapprezzo. Quel punto di pareggio è 2,50 volte ai prezzi più bassi che abbiamo trovato ($2.73 ÷ $1.09) e 1,87 volte alla mediana ($4.16 ÷ $2.23). Entrambi i prezzi GPUwithCrypto stanno almeno il 15% sotto i loro riferimenti indicati (Massed Compute a $2.73, Thunder Compute a $1.09), quindi anche il nostro punto di pareggio è circa 2,5 volte.

Esempio di calcolo (ipotesi, non un benchmark): un job di fine-tuning richiede 24 ore su una A100 80GB. Su una H100 SXM richiede 7,6 ore se guadagna l'intero rapporto di picco BF16 di 3,17×, oppure 14,6 ore se guadagna solo il rapporto di bandwidth di 1,64×.

Quando conviene noleggiare la H100 invece della A100?

Noleggia la H100 quando è vero almeno uno di questi punti:

• Fai training o fine-tuning con batch grandi. Il lavoro compute-bound segue più da vicino il rapporto di picco di 3,17×, e quel rapporto è sopra il punto di pareggio di 2,5×.
• Servi modelli FP8. Solo la H100 ha i Tensor Core FP8 (1.979 TFLOPS dense).
• Ti servono diverse GPU che comunicano veloci. Il NVLink della H100 SXM va a 900 GB/s, contro i 600 GB/s della A100.
• Una scadenza conta più della bolletta.

Noleggia la A100 80GB quando il modello ci sta in 80 GB e il lavoro è memory-bound: inferenza chat con batch piccoli, esecuzioni LoRA e QLoRA, valutazioni, notebook. Se 80 GB sono troppo pochi, leggi H100 vs H200. Per una scheda da 48 GB più economica, leggi L40S vs A100.