RTX 5090 vs H100 cho AI: khi nào card rẻ là đủ?

H100 nhanh hơn RTX 5090 bao nhiêu?

Ở mức đỉnh, H100 SXM có hiệu năng tính toán dense BF16 và FP8 gấp 4,72 lần RTX 5090 (989,5 so với 209,5 và 1.979 so với 419 TFLOPS). Băng thông bộ nhớ gấp 1,87 lần (3.350 so với 1.792 GB/s) và bộ nhớ gấp 2,5 lần. Đây là các con số đỉnh của NVIDIA, không phải benchmark.

RTX 5090 có một lợi thế: FP4 Tensor Cores (1.676 TFLOPS dense), thứ mà Hopper không có. Chúng chỉ giúp ích với model lượng tử hóa sang FP4.

Khoảng cách giá lớn hơn khoảng cách hiệu năng. Ở mức giá on-demand thấp nhất chúng tôi tìm được, H100 đắt hơn 5,46 lần mỗi giờ ($2,73 ÷ $0,50); ở mức trung vị, 4,95 lần ($4,16 ÷ $0,84). Tính theo mỗi đô la, RTX 5090 cho hiệu năng tính toán BF16 đỉnh nhiều hơn 16% ở mức giá thấp nhất (419 so với 362 TFLOPS mỗi $/giờ) và nhiều hơn 5% ở mức trung vị.

Một GB VRAM tốn bao nhiêu mỗi giờ trên mỗi loại?

Theo kiểm tra giá của GPUwithCrypto ngày 29 tháng 10 năm 2026, một GB bộ nhớ RTX 5090 rẻ hơn 54% mỗi giờ so với một GB bộ nhớ H100. Tính bằng giá mỗi giờ ÷ GB:

• RTX 5090: 1.56 cent mỗi GB-giờ ở mức giá on-demand thấp nhất ($0.50 ÷ 32), 2.63 cent ở mức trung vị ($0.84 ÷ 32).
• H100: 3.41 cent mỗi GB-giờ ở mức giá thấp nhất ($2.73 ÷ 80), 5.20 cent ở mức trung vị ($4.16 ÷ 80).

Ở mức trung vị, RTX 5090 tốn khoảng một nửa giá mỗi GB. Với GPUwithCrypto, phép chia tương tự cho ra $0.013 và $0.029, mỗi GPU có giá thấp hơn ít nhất 15% so với mức tham chiếu on-demand đã nêu. Điều đánh đổi: bạn không thể mua quá 32 GB trên một chiếc 5090.

Một job tốn bao nhiêu trên RTX 5090 so với H100?

Với một job vừa 32 GB, RTX 5090 tốn ít hơn ngay cả khi H100 đạt lợi thế đỉnh đầy đủ. H100 nhanh hơn 4.72 lần ở đỉnh nhưng tốn hơn 5.46 lần mỗi giờ ở mức giá thấp nhất và 4.95 lần ở mức trung vị. Hai mức giá của chúng tôi đều thấp hơn ít nhất 15% so với mức tham chiếu đã nêu ($0.50 và $2.73), nên tỷ lệ ở GPUwithCrypto gần như tương đương.

Ví dụ minh họa (giả định, không phải benchmark): một lần chạy FLUX LoRA hoặc một lô ảnh mất 10 giờ trên một RTX 5090. Trên H100 SXM, nó mất 2.1 giờ theo tỷ lệ toán học đỉnh 4.72×, hoặc 5.3 giờ theo tỷ lệ băng thông 1.87×.

Khi nào tôi cần H100 thay thế?

Thuê H100 khi card rẻ hơn hết bộ nhớ hoặc hết liên kết giữa các GPU:

• Mô hình trên 32 GB trên một GPU: Llama 3.1 70B ở 4-bit (42 GB), QLoRA trên 70B (52.5 GB), các mô hình 8B với ngữ cảnh dài trong cache BF16.
• Huấn luyện nhiều GPU: H100 SXM NVLink chạy ở 900 GB/s. Trang RTX 5090 của NVIDIA không đề cập NVLink, nên hãy lập kế hoạch công việc nhiều GPU qua PCIe Gen5.
• Phục vụ hoặc huấn luyện theo lô lớn với thời hạn: gấp 4.72 lần toán học đỉnh dense.

Thuê RTX 5090 cho ComfyUI, SDXL, FLUX, các mô hình video vừa 32 GB, các mô hình chat 7B–8B và các lần chạy LoRA. Xem GPU tốt nhất cho ComfyUI và Flux. Để có 80 GB với giá thấp hơn H100, đọc H100 vs A100.