คำตอบสั้น
GPU ที่ดีที่สุดสำหรับ fine-tune Llama 70B คืออะไร?
GPU ที่ดีที่สุดสำหรับ fine-tune Llama 70B ขึ้นอยู่กับวิธีการ QLoRA ต้องการประมาณ 52.5 GB ดังนั้นใช้ A100 หรือ H100 80 GB หนึ่งตัว LoRA บนฐาน BF16 ต้องการประมาณ 168 GB ดังนั้นใช้ B200 180 GB หนึ่งตัวหรือ H200 สองตัว Full fine-tuning ต้องใช้ 1,120 ถึง 1,260 GB ก่อนนับ activations ดังนั้นใช้ B200 แปดตัว ณ 29 ตุลาคม 2026 GPUwithCrypto ให้เช่า A100 80GB ที่ $0.92/ชั่วโมง จ่ายด้วยคริปโต
GPU ตัวไหนสำหรับวิธีไหน?
| QLoRA (ฐาน 4-bit) | ≈ 52.5 GB → 1× A100 80GB ($0.92/ชั่วโมง) หรือ 1× H100 ($2.32/ชั่วโมง) |
|---|---|
| LoRA (ฐาน BF16) | ขั้นต่ำ 140 GB, วางแผนที่ ≈ 168 GB → 1× B200 ($4.61/ชั่วโมง) หรือ 2× H200 ($6.14/ชั่วโมง) |
| Full fine-tune, 8-bit Adam | ≈ 840 GB → 8× H200 ($24.56/ชั่วโมง) |
| Full fine-tune, AdamW | 1,120–1,260 GB → 8× B200 ($36.88/ชั่วโมง) |
| เล็กเกินไป | L40S 48 GB หนึ่งตัวไม่พอต่อประมาณการ QLoRA ที่ 52.5 GB; ผู้เขียน QLoRA เคย fit โมเดล 65B บน GPU 48 GB หนึ่งตัวได้ |
แต่ละวิธีต้องใช้หน่วยความจำเท่าไรสำหรับโมเดล 70B?
- QLoRA: โมเดลฐานถูกโหลดใน 4-bit และ freeze ไว้ มีเพียง adapter เล็กๆ ที่ถูกเทรน บทความ QLoRA ได้ fine-tune โมเดล 65B บน GPU 48 GB หนึ่งตัว: 48 ÷ 65 = 0.74 GB ต่อพันล้านพารามิเตอร์ ปัดเป็น 0.75 สำหรับ 70B: 70 × 0.75 = 52.5 GB
- LoRA: ฐานยังคงเป็น BF16 และ freeze ไว้: 70 × 2 ไบต์ = 140 GB Adapter และ optimizer ของมันเพิ่มประมาณ 1%; ด้วย margin สำหรับการวางแผน 20% ของเรา 140 × 1.2 = 168 GB
- Full fine-tuning, mixed precision กับ AdamW: EleutherAI นับเป็น 2 + 12 + 2 = 16 ไบต์ต่อพารามิเตอร์ (weights, optimizer พร้อมสำเนา FP32, gradients): 70 × 16 = 1,120 GB Hugging Face นับเป็น 6 + 8 + 4 = 18 ไบต์: 1,260 GB activations มาบวกเพิ่มอีก
- Full fine-tuning กับ 8-bit Adam: Hugging Face ระบุว่า optimizer states แบบ 8-bit ใช้ 2 ไบต์แทน 8 ไบต์ ดังนั้น 6 + 2 + 4 = 12 ไบต์: 70 × 12 = 840 GB
เหล่านี้เป็นกฎการวางแผนจากแหล่งอ้างอิง ไม่ใช่การวัดจริง ความยาว sequence และ batch size เปลี่ยนหน่วยความจำ activations; gradient checkpointing ลดมันลง กฎเดียวกันสำหรับขนาดโมเดลอื่น: ต้องใช้ VRAM เท่าไร?
แต่ละวิธีต้องใช้ GPU กี่ตัว?
✓ = VRAM รวมของการกำหนดค่าครอบคลุมประมาณการของวิธีนั้น แถวแบบหลาย GPU สมมติว่าโมเดลถูกแบ่งกระจายข้าม GPU (FSDP หรือ DeepSpeed ZeRO-3) ราคาต่อชั่วโมงของเราสำหรับการกำหนดค่าทั้งหมด ณ 29 ตุลาคม 2026
| การกำหนดค่า | VRAM รวม | QLoRA (52.5 GB) | LoRA (168 GB) | Full, 8-bit Adam (840 GB) | Full, AdamW (1,260 GB) | GPUwithCrypto ต่อชั่วโมง |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | $0.82/ชั่วโมง |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | $0.92/ชั่วโมง |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/ชั่วโมง |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | $3.07/ชั่วโมง |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | $4.61/ชั่วโมง |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/ชั่วโมง |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/ชั่วโมง |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/ชั่วโมง |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/ชั่วโมง |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/ชั่วโมง |
ตรวจสอบราคาเมื่อ
8× H200 รองรับการประมาณ 16 ไบต์ (1,120 GB) บนกระดาษ แต่เหลือ 8 GB สำหรับ activations จึงถูกทำเครื่องหมาย ✗ สำหรับ AdamW ส่วน 8× B200 เหลือ 180 GB หลังจากการประมาณ 18 ไบต์ อินสแตนซ์มี 1 ถึง 8 GPU ขึ้นอยู่กับโฮสต์ ก่อนเริ่ม แดชบอร์ดจะแสดงประเทศของแต่ละโฮสต์ จำนวน GPU รูปแบบ (SXM หรือ PCIe) และ interconnect
การ fine-tune Llama 70B หนึ่งครั้งมีค่าใช้จ่ายเท่าไร?
ค่าใช้จ่าย = จำนวน GPU × ชั่วโมงตามเวลาจริง × ราคาต่อ GPU-ชั่วโมง ชั่วโมงด้านล่างเป็นสมมติฐานที่เลือกมาเพื่อประกอบคำอธิบาย ไม่ใช่ค่าที่วัดได้: เวลารันขึ้นอยู่กับจำนวน training token, ความยาว sequence, batch size และซอฟต์แวร์ วัดจำนวน step ต่อชั่วโมงของการรันสั้น ๆ ก่อน แล้วจึงกำหนดขนาดการรันยาว ชั่วโมงที่สมมติขึ้นสอดคล้องกับบล็อก 10, 24 และ 168 GPU-ชั่วโมงของเรา GPU-hours ขายเป็นบล็อก 10, 24, 168 หรือ 720 ชั่วโมงสำหรับ GPU หนึ่งรุ่น ในอัตรารายชั่วโมงเดียวกัน อินสแตนซ์ของ GPU รุ่นนั้นจะหักจากบล็อกเหล่านี้เป็นรายนาที และชั่วโมงที่ไม่ได้ใช้จะไม่มีวันหมดอายุ ทุกบล็อกและ GPU ระบุไว้ที่ ราคา GPU
ประมาณการค่าใช้จ่ายในการรันภายใต้ชั่วโมงที่สมมติขึ้น
| วิธีการ | การกำหนดค่า | ชั่วโมงที่สมมติขึ้น (ไม่ได้วัด) | GPU-ชั่วโมง | ค่าใช้จ่าย GPUwithCrypto |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | US$9.20 |
| QLoRA | 1× H100 | 10 | 10 | US$23.20 |
| LoRA | 1× B200 | 24 | 24 | US$110.64 |
| LoRA | 2× H200 | 12 | 24 | US$73.68 |
| Full, 8-bit Adam | 8× H200 | 21 | 168 | US$515.76 |
| Full, AdamW | 8× B200 | 21 | 168 | US$774.48 |
ตรวจสอบราคาเมื่อ
การ full fine-tuning แพงกว่า QLoRA มากแค่ไหน?
แพงกว่าประมาณ 40 เท่าต่อชั่วโมงการใช้งานฮาร์ดแวร์ ตามการตรวจราคาของ GPUwithCrypto เมื่อวันที่ 29 ตุลาคม 2026 ราคา self-serve on-demand ที่ต่ำที่สุดสำหรับอินสแตนซ์ 8× B200 อยู่ที่ $43.46 ต่อชั่วโมง (Massed Compute, $5.4325 ต่อ GPU) A100 80GB หนึ่งตัวมีราคา $1.09 ต่อชั่วโมงที่ Thunder Compute อัตราส่วนเดียวกันกับราคาของเรา: $36.88/ชั่วโมง เทียบกับ $0.92/ชั่วโมง
ช่องว่างนี้คือเหตุผลที่โปรเจกต์ 70B ส่วนใหญ่เริ่มด้วย QLoRA หรือ LoRA บทความ LoRA รายงานผลลัพธ์เทียบเท่ากับ full fine-tuning ในงานที่ทดสอบ โดยมีพารามิเตอร์ที่ train ได้น้อยกว่า 10,000 เท่า
H100 หรือ A100 ดีกว่าสำหรับ QLoRA บน 70B?
ทั้งคู่รองรับการประมาณ 52.5 GB ใน 80 GB H100 มี throughput สูงสุดของ BF16 Tensor สูงกว่า A100 3.2 เท่า (989.5 เทียบกับ 312 TFLOPS แบบ dense) และมี bandwidth 3,350 GB/s (SXM) เทียบกับ 2,039 GB/s นี่คือตัวเลขสูงสุดของ NVIDIA ความเร็วในการ train จริงขึ้นอยู่กับซอฟต์แวร์ A100 ราคา $0.92/ชั่วโมง และ H100 ราคา $2.32/ชั่วโมง ตามราคาของเรา เลือก A100 เมื่องบประมาณจำกัด เลือก H100 เมื่อมีกำหนดส่ง เพิ่มเติม: H100 vs A100
แต่ละวิธีใช้ซอฟต์แวร์อะไร?
Hugging Face TRL รัน QLoRA และ LoRA ได้ด้วยคำสั่งเดียว: --load_in_4bit --use_peft สำหรับ QLoRA, --use_peft เพียงอย่างเดียวสำหรับ LoRA สำหรับ LoRA แบบหลาย GPU และ full fine-tuning TRL มีโปรไฟล์ Accelerate สำเร็จรูป เช่น fsdp2 และ zero3 (DeepSpeed ZeRO-3) ส่งผ่านด้วย --accelerate_config รีโพซิทอรี Llama 3.1 บน Hugging Face ถูกจำกัดการเข้าถึง: ต้องยอมรับสัญญาอนุญาตของ Meta บนหน้ารุ่นก่อน คำสั่งแบบทีละขั้นตอน: fine-tune Llama บน GPU ที่เช่า
คำถามเกี่ยวกับการ fine-tune Llama 70B
ฉันสามารถ fine-tune Llama 70B บน GPU ตัวเดียวได้ไหม?
ได้ ด้วย QLoRA บน GPU 80 GB: ประมาณ 52.5 GB LoRA บนฐาน BF16 ก็พอดีกับ GPU ตัวเดียว แต่ต้องเป็น B200 180 GB เท่านั้น การ full fine-tuning ต้องใช้ B200 แปดตัวหรือ H200 แปดตัวพร้อม optimizer แบบ 8-bit
ฉันสามารถ fine-tune Llama 70B บน RTX 4090 ได้ไหม?
ไม่ได้ แม้ในแบบ 4-bit น้ำหนัก 70B เพียงอย่างเดียวก็ใช้พื้นที่ 35 GB ซึ่งมากกว่า 24 GB ของ RTX 4090 GPU ที่เล็กที่สุดที่เราให้เช่าซึ่งรองรับการรัน QLoRA คือ A100 80 GB
ต้องใช้ VRAM เท่าไรในการ fine-tune Llama 70B ด้วย LoRA?
ประมาณ 140 GB สำหรับน้ำหนัก BF16 ที่ถูก freeze และประมาณ 168 GB เมื่อเผื่อ margin 20% สำหรับ adapters และ activations B200 หนึ่งตัว (180 GB), H200 สองตัว (282 GB) หรือ GPU 80 GB สี่ตัวรองรับได้
การ fine-tune Llama 70B ใช้เวลานานเท่าไร?
ขึ้นอยู่กับจำนวน token ในชุดข้อมูลของคุณ ความยาว sequence และ batch size และเราไม่ได้วัดการรัน จึงไม่เผยแพร่เวลา เริ่มด้วยบล็อก 10 ชั่วโมง วัดจำนวน step ต่อชั่วโมงบนข้อมูลของคุณ แล้วจึงกำหนดขนาดการรันเต็ม
ฉันสามารถจ่ายค่า GPU ด้วยคริปโตได้ไหม?
ได้ GPUwithCrypto รับ BTC, USDT, USDC, ETH, SOL, LTC จากการเติมเงิน US$25 โดยไม่ต้องใช้ ID และไม่ต้องใช้บัตร GPU-ชั่วโมงที่ไม่ได้ใช้ไม่มีวันหมดอายุ
แหล่งที่มา (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- การ์ดข้อมูลโมเดล Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- อินเทอร์เฟซบรรทัดคำสั่งของ TRL — Hugging Face (read 2026-10-29)
- การผสานรวม PEFT ของ TRL — Hugging Face (read 2026-10-29)
- ข้อมูลจำเพาะ NVIDIA A100 — NVIDIA (read 2026-10-29)
- ข้อมูลจำเพาะ NVIDIA H100 — NVIDIA (read 2026-10-29)
- ภาษีราคา Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- ภาษีราคา Thunder Compute thundercompute.com/pricing — Thunder Compute (read 2026-10-29)