# ต้องใช้ VRAM เท่าไรในการรันหรือ fine-tune LLM?

> ต้องใช้ VRAM เท่าไรสำหรับ LLM? พารามิเตอร์ × ไบต์ + 20%: โมเดล 70B ต้องใช้ 168 GB ใน FP16, 84 GB ใน FP8 ตารางการรองรับและราคาคริปโต ตุลาคม 2026

- URL: https://gpuwithcrypto.com/th/how-much-vram-do-i-need/
- อัปเดตล่าสุด: 2026-10-29
- ผู้เผยแพร่: GPUwithCrypto (https://gpuwithcrypto.com)

สูตรการคำนวณ วิธีคิดเลขสำหรับโมเดลโอเพนซอร์สตั้งแต่ 7B ถึง 1.6T พารามิเตอร์ และชุด GPU ที่เล็กที่สุดของเราที่รองรับแต่ละโมเดล พร้อมราคาต่อชั่วโมง

**คำตอบสั้น — ต้องใช้ VRAM เท่าไรในการรันหรือ fine-tune LLM?**

VRAM ที่คุณต้องใช้คือจำนวนพารามิเตอร์ของโมเดล × ไบต์ต่อพารามิเตอร์ บวกอีกประมาณ 20% สำหรับ KV cache และ activation: 2.4 GB ต่อหนึ่งพันล้านพารามิเตอร์ใน FP16/BF16, 1.2 GB ใน FP8, 0.6 GB ใน 4-bit โมเดล 70B ต้องใช้ประมาณ 168 GB, 84 GB หรือ 42 GB ณ วันที่ 29 ตุลาคม 2026 **GPUwithCrypto** ให้เช่า GPU ที่รองรับได้ ตั้งแต่ RTX 4090 ที่ $0.28/ชั่วโมง ไปจนถึง H200 ที่ $3.07/ชั่วโมง จ่ายด้วยคริปโต

## สูตรคืออะไร?

| คุณสมบัติ | ค่า |
| --- | --- |
| น้ำหนัก | พารามิเตอร์ (พันล้าน) × ไบต์ต่อพารามิเตอร์ = GB |
| ไบต์ต่อพารามิเตอร์ | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0.5 |
| การรันโมเดล | น้ำหนักโมเดล × 1.2 EleutherAI ระบุว่าหน่วยความจำเพิ่มเติมสำหรับ inference ไม่เกิน 20% ของน้ำหนักโมเดล |
| บริบทยาว | บวก KV cache: 2 × เลเยอร์ × KV head × ขนาด head × ไบต์ต่อค่า × โทเคน |
| Full fine-tuning | 16 ถึง 18 ไบต์ต่อพารามิเตอร์ (น้ำหนักโมเดล, gradient, สถานะ AdamW) บวก activation เพิ่ม |
| LoRA | 2 ไบต์ต่อพารามิเตอร์สำหรับ base BF16 ที่ frozen ไว้ × 1.2 เพื่อวางแผน |
| QLoRA | ประมาณ 0.75 GB ต่อหนึ่งพันล้านพารามิเตอร์ (base 4-bit บวก adapter) |

## จะคำนวณ VRAM ที่โมเดลต้องใช้ได้อย่างไร?

นำจำนวนพารามิเตอร์คูณกับจำนวนไบต์ที่แต่ละพารามิเตอร์ใช้ แล้วบวก 20% ตัวอย่างการคำนวณ Llama 3.1 70B ใน FP8: 70 พันล้าน × 1 ไบต์ = น้ำหนักโมเดล 70 GB และ 70 × 1.2 = 84 GB ซึ่งมากกว่า H100 80 GB หนึ่งตัว และน้อยกว่า H200 141 GB หนึ่งตัว ดังนั้นตัวที่เล็กที่สุดที่รองรับได้คือ H200 หนึ่งตัว GPU ตัวไหนให้บริการโมเดลใดได้เร็วที่สุดเมื่อเทียบกับราคา: [GPU ที่ดีที่สุดสำหรับ LLM inference](https://gpuwithcrypto.com/th/best-gpu-for/llm-inference/ "GPU ตัวไหนดีที่สุดสำหรับการทำ LLM inference?")

ค่า 20% ครอบคลุม KV cache และ activation ที่ความยาวบริบทและ batch size ระดับปานกลาง กฎและจำนวนไบต์ต่อพารามิเตอร์มาจาก *Transformer Math 101* ของ EleutherAI เป็นกฎการประมาณขนาด ไม่ใช่การรับประกัน: พรอมต์ยาว ผู้ใช้พร้อมกันจำนวนมาก และ overhead ของเฟรมเวิร์กทำให้เกินกว่านี้ได้ ค่าที่ออกมาอยู่ภายใน 5% ของ VRAM การ์ด เช่น Qwen2.5 32B ใน BF16 (78 GB) บนการ์ด 80 GB จะรันได้เฉพาะกับพรอมต์สั้นเท่านั้น ใช้ขนาดที่ใหญ่ขึ้นถัดไปสำหรับพรอมต์ยาว

## แต่ละโมเดลต้องใช้ VRAM เท่าไร และ GPU ตัวไหนรองรับ?

แต่ละช่อง: น้ำหนักโมเดล × 1.2 → ตัวที่เล็กที่สุดที่รองรับบน GPU ของเรา → ราคาต่อชั่วโมง ตัวที่เล็กที่สุด = จำนวน GPU น้อยที่สุด (1, 2, 4 หรือ 8) ที่ VRAM รวมกันรองรับค่าที่คำนวณได้ แล้วเลือกตัวที่ถูกที่สุดในกลุ่มนั้นตามราคาของเรา ณ วันที่ 29 ตุลาคม 2026 จำนวนพารามิเตอร์อ้างอิงจาก model card ทางการ

| โมเดล (พารามิเตอร์) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7.3B) | **17.5 GB** → 1× RTX 4090 · $0.28/ชั่วโมง | **8.8 GB** → 1× RTX 4090 · $0.28/ชั่วโมง | **4.4 GB** → 1× RTX 4090 · $0.28/ชั่วโมง |
| Llama 3.1 8B (8B) | **19.2 GB** → 1× RTX 4090 · $0.28/ชั่วโมง | **9.6 GB** → 1× RTX 4090 · $0.28/ชั่วโมง | **4.8 GB** → 1× RTX 4090 · $0.28/ชั่วโมง |
| Qwen2.5 32B (32.5B) | **78.0 GB** → 1× A100 80GB · $0.92/ชั่วโมง | **39.0 GB** → 1× L40S · $0.82/ชั่วโมง | **19.5 GB** → 1× RTX 4090 · $0.28/ชั่วโมง |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · $4.61/ชั่วโมง | **84 GB** → 1× H200 · $3.07/ชั่วโมง | **42 GB** → 1× L40S · $0.82/ชั่วโมง |
| Qwen2.5 72B (72.7B) | **174.5 GB** → 1× B200 · $4.61/ชั่วโมง | **87.2 GB** → 1× H200 · $3.07/ชั่วโมง | **43.6 GB** → 1× L40S · $0.82/ชั่วโมง |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/ชั่วโมง | **486 GB** → 4× H200 · $12.28/ชั่วโมง | **243 GB** → 2× H200 · $6.14/ชั่วโมง |

*ตรวจสอบราคาเมื่อ 29 ตุลาคม 2569.*

การคำนวณ: 70B ใน BF16 = 70 × 2 = 140 GB, × 1.2 = 168 GB. A100 ไม่มี FP8 Tensor Cores ช่อง FP8 จึงชี้ไปที่ GPU ตระกูล Ada, Hopper หรือ Blackwell ขนาด GPU: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100 และ H100 80 GB, H200 141 GB, B200 180 GB

## โมเดลที่ปล่อยออกมาแบบ quantize แล้วต้องใช้ VRAM เท่าไร?

บางโมเดลมาในฟอร์แมตย่อของตัวเอง น้ำหนักจึงวัดจาก Hugging Face แทนการคำนวณ โมเดล mixture-of-experts (MoE) เปิดใช้งาน expert เพียงไม่กี่ตัวต่อ token: ช่วยลดการประมวลผล ไม่ได้ลดหน่วยความจำ เพราะทุก expert ต้องอยู่ใน VRAM

| โมเดล | จำนวนพารามิเตอร์ทั้งหมด / ที่ใช้งานจริง | น้ำหนักตามที่เผยแพร่ | × 1.2 | ตัวที่เล็กที่สุดที่พอดี | GPUwithCrypto ต่อชั่วโมง |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65.3 GB (น้ำหนัก MXFP4 MoE) | 78.3 GB | 1× H100 80GB (การ์ด: "a single 80GB GPU") | $2.32/ชั่วโมง |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1,128 GB) | $24.56/ชั่วโมง |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB (FP4 experts + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/ชั่วโมง |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB (FP4 experts + FP8) | 1,037.6 GB | 8× H200 (1,128 GB) | $24.56/ชั่วโมง |

*ตรวจสอบราคาเมื่อ 29 ตุลาคม 2569.*

น้ำหนัก V4 = ขนาดรวมของไฟล์ safetensors ในแต่ละ repository ของ deepseek-ai อ่านเมื่อ 29 ตุลาคม 2026 Serving engine ระบุเลย์เอาต์ที่ใหญ่กว่าสำหรับ V4 Flash (4× H200 ใน cookbook ของ SGLang): ดู [คู่มือ DeepSeek V4](https://gpuwithcrypto.com/th/guides/run-deepseek-v4-on-cloud-gpu/ "ฉันจะรัน DeepSeek V4 บนคลาวด์ GPU ได้อย่างไร?")

## บริบทแบบยาวเพิ่ม VRAM ขึ้นเท่าไร?

บริบทแบบยาวเพิ่ม KV cache: เวกเตอร์สองตัว (key และ value) ต่อเลเยอร์ ต่อ KV head ต่อ token สำหรับ Llama 3.1 70B (80 เลเยอร์, 8 KV heads ขนาด 128 ค่า ตาม Llama 3 paper) ใน BF16: 2 × 80 × 8 × 128 × 2 ไบต์ = 327,680 ไบต์ต่อ token บทสนทนา 128K token หนึ่งครั้ง (131,072 token) จึงต้องใช้ 42.9 GB

บวกเข้ากับน้ำหนัก FP8: 70 + 42.9 = 112.9 GB ยังใช้ H200 ตัวเดียว บทสนทนาแบบนี้สี่รายการพร้อมกันต้องใช้ 70 + 4 × 42.9 = 241.6 GB จึงต้องใช้ H200 สองตัว KV cache แบบ FP8 ลดตัวเลข cache ลงครึ่งหนึ่ง โมเดล DeepSeek บีบอัด attention cache ของตัวเอง สูตรนี้จึงใช้กับโมเดลเหล่านี้ไม่ได้

### KV cache ต่อบทสนทนา (BF16) เท่าไร?

| โมเดล | ต่อ token | 8K token | 32K token | 128K token |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## ต้องใช้ VRAM เท่าไรในการ fine-tune LLM?

การ fine-tune แบบเต็มต้องใช้ 16 ถึง 18 ไบต์ต่อพารามิเตอร์ก่อนนับ activations EleutherAI นับน้ำหนัก 2 ไบต์, optimizer state 12 ไบต์ (รวมสำเนา FP32) และ gradient 2 ไบต์; Hugging Face นับ 6 + 8 + 4 = 18 LoRA แช่แข็งโมเดลฐาน จึงต้องใช้ประมาณ 2 ไบต์ต่อพารามิเตอร์สำหรับฐาน BF16; LoRA paper รายงานว่าลดหน่วยความจำ GPU ได้ 3 เท่าเมื่อเทียบกับการ fine-tune แบบเต็ม ระยะเผื่อ × 1.2 ในการวางแผนสำหรับ LoRA เป็นธรรมเนียมของเราเอง QLoRA โหลดฐานแบบ 4-bit: ผู้เขียน fine-tune โมเดล 65B บน GPU 48 GB ตัวเดียว 48 ÷ 65 = 0.74 GB ต่อพันล้านพารามิเตอร์ ปัดเป็น 0.75 แต่ละวิธีเมื่อใช้กับโมเดล 70B: [GPU ที่ดีที่สุดสำหรับ fine-tune Llama 70B](https://gpuwithcrypto.com/th/best-gpu-for/fine-tuning-llama-70b/ "GPU ที่ดีที่สุดสำหรับ fine-tune Llama 70B (LoRA, QLoRA, full) คืออะไร?")

### GPU ตัวไหนเหมาะกับแต่ละวิธี fine-tune?

หน่วยความจำตามกฎข้างต้น → ตัวที่เล็กที่สุดที่พอดีบน GPU ของเรา → ราคาต่อชั่วโมง (29 ตุลาคม 2026) activations มาบวกเพิ่ม gradient checkpointing ช่วยลดส่วนนี้

| โมเดล | Fine-tune แบบเต็ม (16–18 B/param) | LoRA (ฐาน BF16 × 1.2) | QLoRA (0.75 GB ต่อ B) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · $4.61/ชั่วโมง | 19.2 GB → 1× RTX 4090 · $0.28/ชั่วโมง | 6 GB → 1× RTX 4090 · $0.28/ชั่วโมง |
| Qwen2.5 32B | 520–585 GB → 4× B200 · $18.44/ชั่วโมง | 78 GB → 1× A100 80GB · $0.92/ชั่วโมง | 24.4 GB → 1× RTX 5090 · $0.42/ชั่วโมง |
| Llama 3.1 70B | 1,120–1,260 GB → 8× B200 · $36.88/ชั่วโมง | 168 GB → 1× B200 · $4.61/ชั่วโมง | 52.5 GB → 1× A100 80GB · $0.92/ชั่วโมง |
| Llama 3.1 405B | 6,480–7,290 GB → มากกว่าหนึ่งโฮสต์ 8-GPU | 972 GB → 8× H200 · $24.56/ชั่วโมง | 304 GB → 2× B200 · $9.22/ชั่วโมง |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · $6.14/ชั่วโมง | 28.8 GB → 1× RTX 5090 · $0.42/ชั่วโมง | 9 GB → 1× RTX 4090 · $0.28/ชั่วโมง |

*ตรวจสอบราคาเมื่อ 29 ตุลาคม 2569.*

## ทำไมจำนวน GPU ถึงกระโดดจาก 2 เป็น 4 เป็น 8?

Tensor parallelism แบ่ง attention head ของทุกเลเยอร์เท่า ๆ กันในแต่ละ GPU vLLM จะไม่ยอมเริ่มทำงานเมื่อจำนวน head หารด้วยจำนวน GPU ไม่ลงตัว Llama 3.1 70B มี attention head 64 หัว ดังนั้น 2, 4 หรือ 8 GPU ใช้ได้ แต่ 3 ใช้ไม่ได้ H100 80 GB สามตัว (240 GB) รองรับโมเดล 168 GB ได้ในทางทฤษฎี แต่ไม่ใช่การจัดวางที่ใช้งานได้จริง สี่ตัวต่างหากที่ใช้ได้ อินสแตนซ์มี 1 ถึง 8 GPU ขึ้นอยู่กับโฮสต์ ก่อนเริ่ม แดชบอร์ดจะแสดงประเทศของแต่ละโฮสต์ จำนวน GPU รูปแบบ (SXM หรือ PCIe) และ interconnect

## GPU ที่เหมาะสมราคาเท่าไรต่อชั่วโมง?

ความแม่นยำเปลี่ยนค่าใช้จ่ายมากกว่าตัวเลือกอื่นใด Llama 3.1 70B ต้องใช้ B200 หนึ่งตัวใน BF16 แต่ใช้ L40S หนึ่งตัวใน 4-bit ตามการตรวจสอบราคาของ GPUwithCrypto เมื่อวันที่ 29 ตุลาคม 2026 ราคา on-demand แบบ self-serve ที่ต่ำที่สุดสำหรับ GPU สองรุ่นนั้นคือ $5.43 และ $0.97 ต่อชั่วโมง: 4-bit ลดค่าใช้จ่ายต่อชั่วโมงได้ 82% ที่ราคาของเรา ทั้งคู่มีค่าใช้จ่าย $4.61/ชั่วโมง และ $0.82/ชั่วโมง ตรวจสอบผลลัพธ์แบบ 4-bit กับ prompt ของคุณเองก่อนตัดสินใจ ทุก GPU และทุกบล็อกชั่วโมงอยู่ใน[หน้าราคา](https://gpuwithcrypto.com/th/pricing/ "Cloud GPU ที่ GPUwithCrypto ราคาเท่าไรต่อชั่วโมง?")

## คำถามเรื่อง VRAM

### ต้องใช้ VRAM เท่าไรในการรันโมเดล 70B?

ประมาณ 168 GB ใน FP16/BF16, 84 GB ใน FP8 และ 42 GB ใน 4-bit โดยใช้กฎ overhead 20% นั่นคือ B200 หนึ่งตัว H200 หนึ่งตัว หรือ L40S 48 GB หนึ่งตัว บทสนทนายาว 128K token เพิ่ม BF16 KV cache 42.9 GB บน Llama 3.1 70B

### ต้องใช้ VRAM เท่าไรในการ fine-tune โมเดล 7B?

การ full fine-tuning โมเดล 7B ต้องใช้ 112 ถึง 126 GB ก่อนนับ activations (16 ถึง 18 ไบต์ต่อพารามิเตอร์) LoRA ใช้ประมาณ 16.8 GB (7 × 2 × 1.2) และ QLoRA ประมาณ 5.3 GB (7 × 0.75) ดังนั้นทั้งคู่พอดีกับ RTX 4090 ขนาด 24 GB

### ต้องใช้ VRAM เท่าไรในการเทรน LoRA?

สำหรับ LLM ประมาณ 2.4 GB ต่อพันล้านพารามิเตอร์เมื่อใช้ฐาน BF16 หรือ 0.75 GB เมื่อใช้ฐาน 4-bit (QLoRA) สำหรับ FLUX.1 [dev] ซึ่ง transformer มี 12B พารามิเตอร์ นั่นหมายถึงประมาณ 28.8 GB สำหรับ LoRA (RTX 5090 หนึ่งตัว) และ 9 GB สำหรับ QLoRA

### DeepSeek V4 Flash และ V4 Pro ต้องใช้ VRAM เท่าไร?

เวตที่เผยแพร่บน Hugging Face มีขนาด 159.6 GB (Flash, 284B พารามิเตอร์) และ 864.7 GB (Pro, 1.6T) เมื่อบวก overhead 20% จะเป็น 191.5 GB และ 1,037.6 GB: อย่างน้อยต้องใช้ H200 สองตัวและ H200 แปดตัว [คู่มือ DeepSeek V4](https://gpuwithcrypto.com/th/guides/run-deepseek-v4-on-cloud-gpu/ "ฉันจะรัน DeepSeek V4 บนคลาวด์ GPU ได้อย่างไร?") มีคำสั่งต่าง ๆ

### รันโมเดล 70B บน RTX 4090 ตัวเดียวได้ไหม?

ไม่ได้เต็มรูปแบบใน VRAM: แม้ใน 4-bit เวตก็ใช้ 35 GB มากกว่า 24 GB ของการ์ด เครื่องมือที่ offload เลเยอร์ไปยังระบบ RAM จะรันได้ แต่ทุก token จะต้องรอการถ่ายโอนผ่าน PCIe L40S 48 GB หนึ่งตัวรองรับได้ใน 4-bit

### ฉันจ่ายค่า GPU ด้วยคริปโตได้ไหม

ได้ GPUwithCrypto รับ BTC, USDT, USDC, ETH, SOL, LTC, XMR จากการเติมเงิน US$1 โดยไม่ต้องใช้ ID และไม่ต้องใช้บัตร อินสแตนซ์คิดค่าบริการเป็นรายนาทีตามอัตรารายชั่วโมงตลอดเวลาที่ทำงาน โดยหักจาก GPU-hours ที่คุณซื้อไว้สำหรับ GPU รุ่นนั้น การหยุดอินสแตนซ์จะหยุดการคิดค่าบริการทันที

## แหล่งที่มา

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [การ์ดข้อมูลโมเดล Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [ประกาศเปิดตัว Mistral 7B](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [โมเดลการ์ด Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct model card](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [การ์ดโมเดล gpt-oss-120b](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 model card](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [model card และไฟล์ของ DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [model card และไฟล์ของ DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [จำนวน attention head ต้องหารด้วย tensor parallel size ลงตัว (discussion #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [สเปก NVIDIA H200](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto ให้เช่า GPU บนคลาวด์ (NVIDIA H100, H200, B200, A100, L40S, RTX 4090 และ RTX 5090) เป็นรายนาที จ่ายด้วยคริปโต ไม่ต้อง KYC โดยราคา GPU แต่ละรุ่นต่ำกว่าอย่างน้อย 15% เทียบกับราคาอ้างอิงแบบ on-demand ที่ระบุชื่อ ซึ่งอ่านเมื่อ 29 ตุลาคม 2026