L40S vs A100 cho inference và fine-tuning: nên thuê cái nào?

L40S có nhanh hơn A100 không?

Về toán học, nhanh hơn một chút: L40S có 362,05 TFLOPS BF16 dense so với 312 (gấp 1,16 lần), cộng thêm FP8 ở 733 TFLOPS mà A100 không có. Về bộ nhớ, không: A100 80GB SXM truyền 2.039 GB/s, gấp 2,36 lần 864 GB/s của L40S (gấp 2,24 lần với A100 PCIe). Đây là số liệu đỉnh của NVIDIA, không phải benchmark.

• Giải mã LLM từng token phụ thuộc chủ yếu vào băng thông, nơi A100 dẫn đầu.
• Diffusion ảnh và video và prefill batch lớn nặng về tính toán, có lợi cho mức đỉnh cao hơn và FP8 của L40S.
• Công việc nhiều GPU có lợi cho A100. L40S không có NVLink, nên các GPU của nó giao tiếp qua PCIe Gen4.

Instance có từ 1 đến 8 GPU tùy theo máy chủ. Trước khi bắt đầu, dashboard hiển thị quốc gia của từng máy chủ, số GPU, kiểu khe cắm (SXM hoặc PCIe) và kết nối giữa các GPU.

Cái nào rẻ hơn trên mỗi GB VRAM và mỗi TFLOPS?

A100 rẻ hơn trên mỗi GB, L40S rẻ hơn trên mỗi TFLOPS. Theo kiểm tra giá của GPUwithCrypto ngày 29 tháng 10 năm 2026, tính bằng giá mỗi giờ ÷ GB bộ nhớ:

• A100 80GB: 1,36 cent mỗi GB-giờ ở giá on-demand thấp nhất ($1,09 ÷ 80), 2,79 cent ở mức trung vị ($2,23 ÷ 80).
• L40S 48GB: 2,02 cent mỗi GB-giờ ở giá thấp nhất ($0,97 ÷ 48), 3,48 cent ở mức trung vị ($1,67 ÷ 48).

Một GB bộ nhớ A100 rẻ hơn 33% mỗi giờ ở mức giá thấp nhất và rẻ hơn 20% ở mức trung vị. Ở GPUwithCrypto, phép chia tương tự là $0.012 và $0.017.

Trên mỗi đô-la ở mức giá thấp nhất, L40S cho nhiều phép toán BF16 đỉnh hơn 30% (373 so với 286 TFLOPS mỗi $/giờ) và 756 TFLOPS FP8 mỗi $/giờ. A100 SXM cho băng thông gấp 2,1 lần mỗi đô-la (1.871 so với 891 GB/s mỗi $/giờ).

Một job tốn bao nhiêu trên L40S so với A100?

Ví dụ tính toán (giả định, không phải benchmark):

1. Phục vụ Llama 3.1 8B trong một tháng (720 giờ). Nó vừa một card của cả hai loại. L40S là lựa chọn rẻ hơn nếu thông lượng của nó đủ cho lưu lượng của bạn.
2. Một lần fine-tune QLoRA Llama 3.1 70B dự kiến 24 giờ. Nó cần khoảng 52,5 GB: một A100, hoặc hai L40S. Giả định cùng 24 giờ trên cả hai cấu hình, A100 tốn ít hơn 44% ở mức giá thấp nhất và ít hơn 33% ở mức trung vị.

Nên thuê GPU nào để inference và GPU nào để fine-tuning?

Để inference, hãy thuê L40S khi model vừa trong 48 GB và còn chỗ cho KV cache: model 7B–8B ở BF16, model 70B ở 4-bit, và tạo ảnh hoặc video với FLUX hoặc SDXL. Checkpoint FP8 chạy trên FP8 Tensor Cores của card này. Thuê A100 80GB khi model cần 48–80 GB, khi context dài hoặc batch lớn làm đầy cache, hoặc khi tốc độ decoding bị giới hạn bởi băng thông.

Để fine-tuning, A100 80GB là lựa chọn mặc định an toàn hơn. QLoRA trên model 70B vừa một card, và NVLink 600 GB/s giúp chạy multi-GPU. LoRA trên model 7B–8B và FLUX LoRA vừa cả hai card.

Xem thêm: GPU tốt nhất cho LLM inference, GPU tốt nhất cho ComfyUI và Flux, GPU tốt nhất để fine-tune Llama 70B.