Jawaban singkat
L40S vs A100 untuk inference dan fine-tuning?
L40S vs A100 untuk inference dan fine-tuning: pilih L40S untuk inference FP8 serta pembuatan gambar atau video pada model yang muat di 48 GB. Pilih A100 80GB untuk fine-tuning, model antara 48 dan 80 GB, dan job multi-GPU: kartu ini punya NVLink dan bandwidth hingga 2,4 kali lipat. Per 29 Oktober 2026, GPUwithCrypto menyewakan L40S seharga $0.82/jam dan A100 80GB seharga $0.92/jam, bayar dengan kripto tanpa KYC.
Bagaimana perbandingan spesifikasi L40S dan A100?
Angka resmi NVIDIA, dibaca pada 29 Oktober 2026. NVIDIA mencantumkan nilai Tensor dense dan sparse untuk kartu-kartu ini; tabel menampilkan TFLOPS puncak dense. Angka puncak bukan benchmark.
| Spesifikasi | L40S | A100 80GB SXM | A100 80GB PCIe |
|---|---|---|---|
| Arsitektur | Ada Lovelace | Ampere | Ampere |
| Memori | 48 GB GDDR6 | 80 GB HBM2e | 80 GB HBM2e |
| Bandwidth memori | 864 GB/s | 2.039 GB/s | 1.935 GB/s |
| FP16 / BF16 Tensor, dense | 362,05 TFLOPS | 312 TFLOPS | 312 TFLOPS |
| FP8 Tensor, dense | 733 TFLOPS | N/A | N/A |
| NVLink | Tidak | 600 GB/s | 600 GB/s (bridge 2-GPU) |
| PCIe | Gen4 x16 | Gen4 | Gen4 |
| Daya maksimum | 350 W | 400 W | 300 W |
| Peluncuran | 2023 | 2020 | 2021 |
Angka sparse: L40S 733 TFLOPS BF16 dan 1.466 TFLOPS FP8; A100 624 TFLOPS BF16. NVIDIA mencantumkan FP8 sebagai tidak tersedia di Ampere. Halaman L40S menyatakan 'NVLink Support: No'.
Apakah L40S lebih cepat dari A100?
Untuk komputasi, sedikit: L40S punya 362,05 TFLOPS BF16 dense dibanding 312 (1,16 kali), ditambah FP8 sebesar 733 TFLOPS yang tidak dimiliki A100. Untuk memori, tidak: A100 80GB SXM mentransfer 2.039 GB/s, 2,36 kali lipat dari 864 GB/s milik L40S (2,24 kali untuk A100 PCIe). Ini angka puncak NVIDIA, bukan benchmark.
- Decoding LLM token demi token terutama bergantung pada bandwidth, dan di sini A100 unggul.
- Difusi gambar dan video serta prefill batch besar berat komputasi, yang menguntungkan angka puncak dan FP8 L40S yang lebih tinggi.
- Pekerjaan multi-GPU menguntungkan A100. L40S tidak punya NVLink, jadi GPU-nya berkomunikasi lewat PCIe Gen4.
Instance memiliki 1 hingga 8 GPU tergantung host. Sebelum memulai, dashboard menampilkan negara, jumlah GPU, form factor (SXM atau PCIe) dan interconnect tiap host.
Model mana yang muat di 48 GB, dan mana yang butuh 80 GB?
Aturan praktis untuk inference: memori ≈ parameter (miliar) × byte per parameter × 1,2, dengan 2 byte untuk BF16, 1 untuk FP8 dan 0,5 untuk 4-bit (EleutherAI). Perencanaan LoRA = 2 byte per parameter × 1,2. QLoRA ≈ 0,75 GB per miliar parameter. Rumus dan model lainnya: panduan VRAM.
| Model dan tugas | Memori yang dibutuhkan | L40S 48GB | A100 80GB |
|---|---|---|---|
| Mistral 7B, inference BF16 | 17.5 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, inferensi BF16 | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, fine-tune LoRA | 19.2 GB | 1 GPU | 1 GPU |
| FLUX.1 [dev], bobot BF16 | 24 GB + text encoder | 1 GPU | 1 GPU |
| FLUX.1 [dev], fine-tune LoRA | 28.8 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, inferensi 4-bit | 42 GB | 1 GPU | 1 GPU |
| Qwen2.5 72B, inference 4-bit | 43.6 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, fine-tune QLoRA | 52.5 GB | 2 GPU (mepet di 1) | 1 GPU |
| Llama 3.1 70B, inference FP8 | 84 GB | 2 GPU, tanpa NVLink | 2 GPU, tanpa percepatan FP8 |
| Llama 3.1 70B, fine-tune LoRA | 168 GB | 4 GPU | 3 GPU |
Naive fit = jumlah kartu yang total memorinya menampung estimasi; ini mengabaikan overhead multi-GPU dan memori yang dicadangkan driver. Penulis QLoRA melaporkan model 65B di-fine-tune pada satu GPU 48 GB, karena itu 'mepet'. FLUX.1 juga memuat T5-XXL, CLIP-L dan VAE, yang bisa di-offload ke CPU di antara langkah.
Berapa biaya per jam L40S dan A100?
Per GPU-jam, USD. 'Lowest' dan 'median' adalah harga list on-demand self-serve dari pengecekan harga GPUwithCrypto pada 29 Oktober 2026; harga spot dan marketplace tidak disertakan. Vast.ai adalah marketplace, ditampilkan terpisah. Semua GPU: pricing.
| GPU | GPUwithCrypto | Terendah on-demand di tempat lain | Median on-demand | Provider yang dicek | Penawaran terendah Vast.ai |
|---|---|---|---|---|---|
| L40S 48GB | $0.82/jam | $0,97 (Massed Compute) | $1.67 | 11 | $0.33 |
| A100 80GB | $0.92/jam | $1,09 (Thunder Compute) | $2.23 | 13 | $0,48 (SXM), $0,34 (PCIe) |
Harga diperiksa pada
Pada harga terendah, A100 80GB 12% lebih mahal per jam daripada L40S; pada median, sekitar sepertiga lebih mahal. Angka Vast.ai: feed harga publik Vast.ai, penawaran sewa termurah pada 29 Oktober 2026. Tidak termasuk pajak.
Mana yang lebih murah per GB VRAM dan per TFLOPS?
A100 lebih murah per GB, L40S per TFLOPS. Menurut pengecekan harga GPUwithCrypto pada 29 Oktober 2026, dihitung sebagai harga per jam ÷ GB memori:
- A100 80GB: 1,36 sen per GB-jam pada harga on-demand terendah ($1,09 ÷ 80), 2,79 sen pada median ($2,23 ÷ 80).
- L40S 48GB: 2,02 sen per GB-jam pada harga terendah ($0,97 ÷ 48), 3,48 sen pada median ($1,67 ÷ 48).
Satu GB memori A100 33% lebih murah per jam pada harga terendah dan 20% lebih murah pada median. Di GPUwithCrypto pembagian yang sama adalah $0.012 dan $0.017.
Per dolar pada harga terendah, L40S memberi komputasi BF16 puncak 30% lebih banyak (373 vs 286 TFLOPS per $/jam) dan 756 TFLOPS FP8 per $/jam. A100 SXM memberi bandwidth 2,1 kali lipat per dolar (1.871 vs 891 GB/s per $/jam).
Berapa biaya satu job di L40S vs A100?
Contoh perhitungan (asumsi, bukan benchmark):
- Melayani Llama 3.1 8B selama sebulan (720 jam). Model ini muat di satu kartu jenis mana pun. L40S adalah pilihan yang lebih murah jika throughput-nya cukup untuk trafik Anda.
- Fine-tune QLoRA Llama 3.1 70B yang direncanakan 24 jam. Butuh sekitar 52,5 GB: satu A100, atau dua L40S. Dengan asumsi 24 jam yang sama pada kedua setup, A100 44% lebih murah pada harga terendah dan 33% lebih murah pada median.
Biaya kedua job
| Dasar harga | Serving 8B, 720 jam: L40S | Serving 8B, 720 jam: A100 | QLoRA 70B, 24 jam: 2 × L40S | QLoRA 70B, 24 jam: 1 × A100 |
|---|---|---|---|---|
| GPUwithCrypto | $590.40 | $662.40 | 2 × $19.68 | $22.08 |
| Terendah on-demand di tempat lain | $698.40 | $784.80 | $46.56 | $26.16 |
| Median on-demand | $1,202.40 | $1,605.60 | $80.16 | $53.52 |
Harga diperiksa pada
Jam adalah asumsi. Hanya waktu GPU.
Mana yang sebaiknya saya sewa untuk inferensi, dan mana untuk fine-tuning?
Untuk inferensi, sewa L40S ketika model muat dalam 48 GB dengan ruang untuk KV cache-nya: model 7B–8B dalam BF16, model 70B dalam 4-bit, dan pembuatan gambar atau video dengan FLUX atau SDXL. Checkpoint FP8 berjalan di FP8 Tensor Cores-nya. Sewa A100 80GB ketika model membutuhkan 48–80 GB, ketika konteks panjang atau batch besar memenuhi cache, atau ketika kecepatan decoding dibatasi oleh bandwidth.
Untuk fine-tuning, A100 80GB adalah pilihan default yang lebih aman. QLoRA pada model 70B muat di satu kartu, dan NVLink pada 600 GB/s membantu proses multi-GPU. LoRA pada model 7B–8B dan LoRA FLUX muat di kedua kartu.
Selengkapnya: GPU terbaik untuk inferensi LLM, GPU terbaik untuk ComfyUI dan Flux, GPU terbaik untuk fine-tuning Llama 70B.
Pertanyaan tentang L40S dan A100
Apakah L40S lebih baik daripada A100 untuk inferensi?
Untuk model yang muat dalam 48 GB dan untuk FP8 atau pembuatan gambar, ya: kartu ini memiliki 1,16 kali puncak dense BF16 dan FP8 Tensor Cores. Untuk model yang lebih besar atau decoding yang dibatasi bandwidth, A100 80GB unggul dengan 80 GB dan bandwidth 2,36 kali lebih besar (SXM). Ini adalah angka puncak NVIDIA, bukan benchmark.
Apakah L40S bagus untuk fine-tuning?
Untuk LoRA pada model 7B–8B dan LoRA FLUX, ya: semuanya muat dalam 48 GB. QLoRA pada model 70B membutuhkan sekitar 52,5 GB menurut aturan kami, sehingga pas-pasan di satu L40S. Fine-tuning multi-GPU berjalan lewat PCIe, karena L40S tidak memiliki NVLink.
Berapa biaya L40S per jam dibandingkan dengan A100?
Pada 29 Oktober 2026, harga on-demand self-serve terendah yang kami temukan adalah $0,97 untuk L40S dan $1,09 untuk A100 80GB; nilai mediannya adalah $1,67 dan $2,23. GPUwithCrypto menagih $0.82/jam dan $0.92/jam.
Apakah L40S mendukung NVLink?
Tidak. Halaman L40S milik NVIDIA menyatakan 'NVLink Support: No'; GPU berkomunikasi lewat PCIe Gen4 x16 pada 64 GB/s dua arah. A100 80GB memiliki NVLink pada 600 GB/s.
Bisakah saya menyewa L40S atau A100 dengan kripto?
Bisa. GPUwithCrypto menyewakan keduanya mulai BTC, USDT, USDC, ETH, SOL, LTC, XMR, tanpa ID dan tanpa kartu. Dari 11 penyedia dengan harga on-demand L40S pada 29 Oktober 2026, 5 menerima kripto: Massed Compute, RunPod (KYC terlebih dahulu), Paperspace/DigitalOcean, Vultr, dan Spheron.
Sewa L40S atau A100 dengan kripto
L40S $0.82/jam · A100 80GB $0.92/jam · ditagih per menit · tanpa KYC.
Sumber (10)
- GPU NVIDIA L40S — NVIDIA (read 2026-10-29)
- NVIDIA A100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA A100 datasheet — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Kartu model FLUX.1 [dev] — Black Forest Labs / Hugging Face (read 2026-10-29)
- Harga Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Harga Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Feed harga GPU publik Vast.ai — Vast.ai (read 2026-10-29)