Коротка відповідь
L40S vs A100 для інференсу та файнтюнінгу?
L40S vs A100 для інференсу та файнтюнінгу: обирайте L40S для FP8-інференсу та генерації зображень чи відео на моделях, що вміщуються в 48 ГБ. Обирайте A100 80GB для файнтюнінгу, моделей від 48 до 80 ГБ і багатогокартних завдань: у неї є NVLink і до 2,4 раза більша пропускна здатність. Станом на 29 жовтня 2026 року GPUwithCrypto орендує L40S за $0.82/година, а A100 80GB за $0.92/година, з оплатою в криптовалюті без KYC.
Як порівнюються характеристики L40S і A100?
Офіційні дані NVIDIA, прочитані 29 жовтня 2026 року. NVIDIA вказує для цих карт як щільні (dense), так і розріджені (sparse) значення Tensor; у таблиці наведено щільні пікові TFLOPS. Пікові показники — це не бенчмарки.
| Характеристика | L40S | A100 80GB SXM | A100 80GB PCIe |
|---|---|---|---|
| Архітектура | Ada Lovelace | Ampere | Ampere |
| Пам'ять | 48 GB GDDR6 | 80 GB HBM2e | 80 GB HBM2e |
| Пропускна здатність пам'яті | 864 ГБ/с | 2,039 GB/s | 1,935 GB/s |
| FP16 / BF16 Tensor, dense | 362,05 TFLOPS | 312 TFLOPS | 312 TFLOPS |
| FP8 Tensor, dense | 733 TFLOPS | N/A | N/A |
| NVLink | Ні | 600 GB/s | 600 GB/s (міст на 2 GPU) |
| PCIe | Gen4 x16 | Gen4 | Gen4 |
| Максимальна потужність | 350 W | 400 W | 300 W |
| Запуск | 2023 | 2020 | 2021 |
Розріджені показники: L40S — 733 TFLOPS BF16 і 1 466 TFLOPS FP8; A100 — 624 TFLOPS BF16. NVIDIA зазначає, що FP8 недоступний на Ampere. На сторінці L40S вказано «NVLink Support: No».
Чи швидший L40S за A100?
За обчисленнями — трохи: у L40S 362,05 щільних BF16 TFLOPS проти 312 (у 1,16 раза), плюс FP8 на 733 TFLOPS, якого немає в A100. За пам'яттю — ні: A100 80GB SXM видає 2 039 ГБ/с, що в 2,36 раза більше за 864 ГБ/с у L40S (у 2,24 раза для A100 PCIe). Це пікові показники NVIDIA, а не бенчмарки.
- Потокове декодування LLM токен за токеном залежить переважно від пропускної здатності, де лідирує A100.
- Дифузія зображень і відео та prefill із великими батчами вимагають багато обчислень, що сприяє вищому піку та FP8 у L40S.
- Багатогокартна робота сприяє A100. У L40S немає NVLink, тож її GPU спілкуються через PCIe Gen4.
Інстанси мають від 1 до 8 GPU залежно від хоста. Перед стартом дашборд показує країну кожного хоста, кількість GPU, форм-фактор (SXM або PCIe) та інтерконект.
Які моделі вміщуються в 48 ГБ, а яким потрібно 80 ГБ?
Практичне правило для інференсу: пам'ять ≈ параметри (у мільярдах) × байтів на параметр × 1,2, де 2 байти для BF16, 1 для FP8 і 0,5 для 4-біт (EleutherAI). Планування LoRA = 2 байти на параметр × 1,2. QLoRA ≈ 0,75 ГБ на мільярд параметрів. Формула та більше моделей: посібник з VRAM.
| Модель і завдання | Потрібна пам'ять | L40S 48GB | A100 80GB |
|---|---|---|---|
| Mistral 7B, інференс BF16 | 17.5 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, інференс BF16 | 19.2 GB | 1 GPU | 1 GPU |
| Llama 3.1 8B, файнтюнінг LoRA | 19.2 GB | 1 GPU | 1 GPU |
| FLUX.1 [dev], ваги BF16 | 24 ГБ + текстові енкодери | 1 GPU | 1 GPU |
| FLUX.1 [dev], файнтюнінг LoRA | 28.8 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, 4-bit інференс | 42 GB | 1 GPU | 1 GPU |
| Qwen2.5 72B, 4-біт інференс | 43.6 GB | 1 GPU | 1 GPU |
| Llama 3.1 70B, fine-tune QLoRA | 52.5 GB | 2 GPU (на межі для 1) | 1 GPU |
| Llama 3.1 70B, інференс FP8 | 84 GB | 2 GPU, без NVLink | 2 GPU, без прискорення FP8 |
| Llama 3.1 70B, файнтюнінг LoRA | 168 GB | 4 GPU | 3 GPU |
Наївне вміщення = кількість карт, сумарна пам'ять яких вміщає оцінку; воно ігнорує накладні витрати на кілька GPU та пам'ять, зарезервовану драйвером. Автори QLoRA повідомляють про файнтюнінг моделі 65B на одному GPU з 48 ГБ, звідси «на межі». FLUX.1 також завантажує T5-XXL, CLIP-L і VAE, які можна вивантажити на CPU між кроками.
Скільки коштують L40S і A100 за годину?
За GPU-годину, USD. «Lowest» і «median» — це self-serve on-demand прайс-листи з перевірки цін GPUwithCrypto від 29 жовтня 2026 року; spot- і marketplace-ціни виключено. Vast.ai — це marketplace, показаний окремо. Усі GPU: ціни.
| GPU | GPUwithCrypto | Найнижча on-demand ціна в інших | Медіанна on-demand | Перевірено провайдерів | Найнижча пропозиція Vast.ai |
|---|---|---|---|---|---|
| L40S 48GB | $0.82/година | $0,97 (Massed Compute) | $1.67 | 11 | $0.33 |
| A100 80GB | $0.92/година | $1.09 (Thunder Compute) | $2.23 | 13 | $0.48 (SXM), $0.34 (PCIe) |
Ціни перевірено
За найнижчими цінами A100 80GB коштує на 12% більше за годину, ніж L40S; за медіаною — приблизно на третину більше. Дані Vast.ai: публічний прайс-фід Vast.ai, найдешевша доступна для оренди пропозиція на 29 жовтня 2026 року. Без податків.
Що дешевше за ГБ VRAM і за TFLOPS?
A100 дешевша за ГБ, L40S — за TFLOPS. Згідно з перевіркою цін GPUwithCrypto від 29 жовтня 2026 року, розраховано як погодинна ціна ÷ ГБ пам'яті:
- A100 80GB: 1,36 цента за ГБ-годину за найнижчою ціною за запитом ($1,09 ÷ 80), 2,79 цента за медіаною ($2,23 ÷ 80).
- L40S 48GB: 2,02 цента за ГБ-годину за найнижчою ціною ($0,97 ÷ 48), 3,48 цента за медіаною ($1,67 ÷ 48).
ГБ пам'яті A100 дешевший на 33% за годину за найнижчими цінами і на 20% за медіаною. У GPUwithCrypto те саме ділення дає $0.012 і $0.017.
На долар за найнижчими цінами L40S дає на 30% більше пікових BF16-обчислень (373 проти 286 TFLOPS на $/годину) і 756 FP8 TFLOPS на $/годину. A100 SXM дає у 2,1 раза більшу пропускну здатність на долар (1 871 проти 891 ГБ/с на $/годину).
Скільки коштує одне завдання на L40S проти A100?
Розрахункові приклади (припущення, а не бенчмарки):
- Обслуговування Llama 3.1 8B протягом місяця (720 годин). Вона вміщується на одній карті будь-якого типу. L40S — дешевший вибір, якщо її пропускної здатності достатньо для вашого трафіку.
- Файнтюнінг QLoRA для Llama 3.1 70B, запланований на 24 години. Потрібно близько 52,5 ГБ: одна A100 або дві L40S. За припущення однакових 24 годин для обох конфігурацій A100 коштує на 44% менше за найнижчими цінами і на 33% менше за медіаною.
Вартість двох завдань
| Цінова база | Обслуговування 8B, 720 год: L40S | Обслуговування 8B, 720 год: A100 | QLoRA 70B, 24 год: 2 × L40S | QLoRA 70B, 24 год: 1 × A100 |
|---|---|---|---|---|
| GPUwithCrypto | $590.40 | $662.40 | 2 × $19.68 | $22.08 |
| Найнижча on-demand ціна в інших | $698.40 | $784.80 | $46.56 | $26.16 |
| Медіанна on-demand | $1,202.40 | $1,605.60 | $80.16 | $53.52 |
Ціни перевірено
Години — це припущення. Лише час GPU.
Що орендувати для inference, а що для fine-tuning?
Для inference орендуйте L40S, коли модель вміщується в 48 GB із запасом для KV cache: моделі 7B–8B у BF16, моделі 70B у 4-bit, а також генерація зображень і відео з FLUX або SDXL. FP8-чекпойнти працюють на його FP8 Tensor Cores. Орендуйте A100 80GB, коли моделі потрібно 48–80 GB, коли довгі контексти або великі батчі заповнюють кеш, або коли швидкість декодування обмежена пропускною здатністю.
Для fine-tuning A100 80GB — безпечніший вибір за замовчуванням. QLoRA на моделі 70B вміщується на одній карті, а NVLink на 600 GB/s допомагає при запуску на кількох GPU. LoRA на моделях 7B–8B і FLUX LoRA вміщуються на будь-якій із цих карт.
Докладніше: найкраща GPU для LLM inference, найкраща GPU для ComfyUI і Flux, найкраща GPU для fine-tuning Llama 70B.
Запитання про L40S і A100
Чи краща L40S за A100 для inference?
Для моделей, що вміщуються в 48 GB, і для FP8 або генерації зображень — так: у неї в 1,16 раза вищий пік dense BF16 і є FP8 Tensor Cores. Для більших моделей або декодування, обмеженого пропускною здатністю, лідирує A100 80GB з 80 GB і в 2,36 раза вищою пропускною здатністю (SXM). Це пікові показники NVIDIA, а не бенчмарки.
Чи підходить L40S для fine-tuning?
Для LoRA на моделях 7B–8B і FLUX LoRA — так: вони вміщуються в 48 GB. QLoRA на моделі 70B потребує близько 52,5 GB за нашим правилом, що на межі для однієї L40S. Fine-tuning на кількох GPU працює через PCIe, бо в L40S немає NVLink.
Скільки коштує L40S за годину порівняно з A100?
Станом на 29 жовтня 2026 року найнижчі ціни self-serve on-demand, які ми знайшли, були $0.97 для L40S і $1.09 для A100 80GB; медіани становили $1.67 і $2.23. GPUwithCrypto бере $0.82/година і $0.92/година.
Чи підтримує L40S NVLink?
Ні. На сторінці NVIDIA про L40S зазначено «NVLink Support: No»; GPU спілкуються через PCIe Gen4 x16 на 64 GB/s у двонаправленому режимі. A100 80GB має NVLink на 600 GB/s.
Чи можна орендувати L40S або A100 за криптовалюту?
Так. GPUwithCrypto орендує обидві за BTC, USDT, USDC, ETH, SOL, LTC, XMR, без ID і без картки. З 11 провайдерів, у яких була on-demand ціна на L40S станом на 29 жовтня 2026 року, 5 приймають криптовалюту: Massed Compute, RunPod (спершу KYC), Paperspace/DigitalOcean, Vultr і Spheron.
Орендувати L40S або A100 за криптовалюту
L40S $0.82/година · A100 80GB $0.92/година · оплата за хвилину · без KYC.
Джерела (10)
- GPU NVIDIA L40S — NVIDIA (read 2026-10-29)
- NVIDIA A100 Tensor Core GPU — NVIDIA (read 2026-10-29)
- NVIDIA A100 datasheet — NVIDIA (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Картка моделі FLUX.1 [dev] — Black Forest Labs / Hugging Face (read 2026-10-29)
- Ціни Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Ціни Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)
- Публічний прайс-фід GPU Vast.ai — Vast.ai (read 2026-10-29)