คำตอบสั้น
ฉันจะปรับแต่ง Llama บน GPU ที่เช่าได้อย่างไร?
หากต้องการ fine-tune Llama บน GPU ที่เช่า ใช้ LoRA หรือ QLoRA adapter เทรนด้วย Hugging Face TRL Llama 3.1 8B ใช้ประมาณ 6 GB ใน QLoRA และ 19.2 GB ใน LoRA ดังนั้น RTX 4090 24 GB หนึ่งตัวก็เพียงพอ ส่วน Llama 3.1 70B ใน QLoRA ใช้ประมาณ 52.5 GB คือ A100 80GB หนึ่งตัว คัดลอก adapter ออกมาก่อนลบ instance ณ วันที่ 29 ตุลาคม 2026 GPUwithCrypto ให้เช่า RTX 4090 ที่ $0.28/ชั่วโมง จ่ายด้วยคริปโต
ต้องใช้ GPU ตัวไหนในการ fine-tune Llama?
หน่วยความจำตามกฎใน คู่มือ VRAM ของเรา: QLoRA ≈ 0.75 GB ต่อพันล้านพารามิเตอร์, LoRA = 2 ไบต์ต่อพารามิเตอร์ × 1.2, full fine-tuning 16–18 ไบต์ต่อพารามิเตอร์ ราคาของเรา ณ วันที่ 29 ตุลาคม 2026
| โมเดล | วิธีการ | VRAM (กฎ) | GPU | GPUwithCrypto ต่อชั่วโมง |
|---|---|---|---|---|
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/ชั่วโมง |
| Llama 3.1 8B | LoRA (ฐาน BF16) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/ชั่วโมง |
| Llama 3.1 8B | Full fine-tune | 128–144 GB + activations | 1× B200 (180 GB) | $4.61/ชั่วโมง |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB หรือ 1× H100 | $0.92/ชั่วโมง หรือ $2.32/ชั่วโมง |
| Llama 3.1 70B | LoRA (ฐาน BF16) | 168 GB | 1× B200 หรือ 2× H200 | $4.61/ชั่วโมง หรือ $6.14/ชั่วโมง |
ตรวจสอบราคาเมื่อ
ดิสก์: น้ำหนัก Llama 3.1 8B Instruct ใช้พื้นที่ 16.1 GB ส่วนน้ำหนัก 70B Instruct ใช้ 141.1 GB เผื่อที่ว่างสำหรับ checkpoint
จะรัน QLoRA fine-tune ของ Llama 3.1 8B ได้อย่างไร?
คำสั่งจากเอกสาร Hugging Face TRL และ Hub สลับ model id เป็น meta-llama/Llama-3.1-70B-Instruct บน GPU 80 GB เพื่อเทรนโมเดล 70B ด้วยวิธีเดียวกัน เพิ่งเริ่มใช้ GPU เช่าใช่ไหม? วิธีเช่า GPU สำหรับ AI ครอบคลุมบัญชี, SSH และงานแรก
เช่า GPU
เริ่ม instance 1× RTX 4090 สำหรับโมเดล 8B หรือ 1× A100 80GB สำหรับ 70B ทุกอินสแตนซ์ให้ GPU เต็มตัว ไม่ใช่เสี้ยวที่แชร์เวลากันหรือ MIG partition คุณได้รับสิทธิ์ SSH แบบ root เข้า Ubuntu ที่ติดตั้ง NVIDIA driver, CUDA และ PyTorch ไว้แล้ว หรือจะเริ่มจาก Docker image ของคุณเองก็ได้
ขอสิทธิ์เข้าถึง Llama
คลัง meta-llama บน Hugging Face มีการจำกัดสิทธิ์: ขอสิทธิ์เข้าถึงที่หน้าโมเดลและยอมรับไลเซนส์ของ Meta จากนั้นรัน
hf auth loginบน instance ด้วย read tokenติดตั้ง TRL, PEFT และ bitsandbytes
pip install "trl[peft]" bitsandbytesbitsandbytes ให้การโหลดแบบ 4-bit ที่ QLoRA ต้องการเลือกชุดข้อมูล
ใช้ dataset id ของ Hugging Face หรือไฟล์บทสนทนาของคุณเอง ตัวอย่างใช้
trl-lib/Capybaraซึ่งเป็นชุดข้อมูลในตัวอย่างของ TRL เองเทรน adapter
รันคำสั่ง
trl sftด้านล่างภายในtmux--load_in_4bitโหลด base แบบ 4-bit,--use_peftเพิ่ม LoRA adapter และ checkpoint จะถูกบันทึกไว้ใน--output_dirทดสอบ adapter
โหลด base model แนบ adapter ด้วย PEFT แล้วเปรียบเทียบคำตอบกับ base model บน prompt ของคุณเอง
คัดลอก adapter ออกมา แล้วลบ
ทุกอินสแตนซ์มีดิสก์ NVMe ภายใน เครื่อง ขนาดเหมาะกับ GPU ของตนและแสดงไว้ก่อนเริ่ม ดิสก์จะถูกล้างเมื่อคุณลบอินสแตนซ์ ดังนั้นคัดลอก checkpoint ออกมาก่อน คัดลอกโฟลเดอร์ output ไปยังคอมพิวเตอร์ของคุณหรือ push ไปยัง repository ส่วนตัวบน Hugging Face แล้วลบ instance
pip install "trl[peft]" bitsandbytes
hf auth login
trl sft \
--model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
--dataset_name trl-lib/Capybara \
--load_in_4bit \
--use_peft \
--lora_r 32 \
--lora_alpha 16 \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--learning_rate 2.0e-4 \
--num_train_epochs 1 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--gradient_checkpointing \
--save_strategy steps \
--save_steps 200 \
--output_dir llama-3.1-8b-qlora
flag การเทรนหลัก ๆ ทำอะไรบ้าง?
--lora_r 32 --lora_alpha 16: rank และ scaling ของ adapter ค่าตามตัวอย่าง PEFT ของ TRL rank 32 บน linear layer ทั้งเจ็ดของ Llama 3.1 8B เทรนประมาณ 84 ล้านพารามิเตอร์ หรือประมาณ 1% ของโมเดล--learning_rate 2.0e-4: เอกสารของ TRL แนะนำประมาณ 10 เท่าของอัตรา full fine-tuning (2.0e-5) สำหรับ LoRA--per_device_train_batch_size 1 --gradient_accumulation_steps 16: batch ที่มีประสิทธิผล 16 ด้วยหน่วยความจำของ batch 1--gradient_checkpointing: คำนวณ activation ใหม่แทนการเก็บไว้ แลกเวลากับหน่วยความจำ--save_strategy steps --save_steps 200: บันทึก checkpoint ทุก 200 step ดังนั้นหากระบบล่มจะเสียเวลามากสุดเพียง 200 step
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/
# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .
# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora --max-lora-rank 32 \
--lora-modules my-adapter=./llama-3.1-8b-qlora
การ fine-tune Llama บน GPU ที่เช่ามีค่าใช้จ่ายเท่าไร?
ค่าใช้จ่าย = จำนวน GPU × ชั่วโมงตามเวลาจริง × ราคาต่อ GPU-ชั่วโมง ชั่วโมงด้านล่างเป็นสมมติฐานเพื่อประกอบการอธิบาย ไม่ใช่ผลการวัด: เวลารันขึ้นอยู่กับจำนวน token ในชุดข้อมูลของคุณ ความยาว sequence และ batch size เราเลือกชั่วโมงที่ตรงกับบล็อก 10 และ 24 GPU-ชั่วโมงของเรา GPU-hours ขายเป็นบล็อก 10, 24, 168 หรือ 720 ชั่วโมงสำหรับ GPU หนึ่งรุ่น ในอัตรารายชั่วโมงเดียวกัน อินสแตนซ์ของ GPU รุ่นนั้นจะหักจากบล็อกเหล่านี้เป็นรายนาที และชั่วโมงที่ไม่ได้ใช้จะไม่มีวันหมดอายุ GPU และบล็อกทั้งหมดอยู่ในหน้า ราคา GPU
GPU ตัวเล็กคือจุดที่ประหยัดได้มากที่สุด ตามการตรวจราคาของ GPUwithCrypto เมื่อวันที่ 29 ตุลาคม 2026 RTX 4090 แบบ self-serve on-demand ราคาต่ำสุดอยู่ที่ $0.33 ต่อชั่วโมง (Salad) และ H100 ราคาต่ำสุด $2.73 (Massed Compute): แพงกว่า 8.3 เท่า สำหรับงาน QLoRA 8B ที่พอดีใน 24 GB ทั้งสองแบบ หน้า ราคา RTX 4090 แสดงรายชื่อผู้ให้บริการที่เราตรวจสอบ
ประมาณการค่าใช้จ่ายในการรันภายใต้ชั่วโมงที่สมมติขึ้น
| งาน | การกำหนดค่า | ชั่วโมงที่สมมติขึ้น (ไม่ได้วัด) | GPU-ชั่วโมง | ค่าใช้จ่าย GPUwithCrypto |
|---|---|---|---|---|
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | US$2.80 |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | US$6.72 |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | US$22.08 |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | US$73.68 |
ตรวจสอบราคาเมื่อ
ทำอย่างไรไม่ให้งานหายเมื่อใช้ GPU เช่า
บันทึกบ่อย ๆ คัดลอกออกตั้งแต่เนิ่น ๆ และคอยดูยอดคงเหลือ อินสแตนซ์เป็นแบบ on-demand ไม่ใช่ spot: ไม่มีใครดึง GPU คุณคืนได้ตราบใดที่ยอดคงเหลือของคุณยังเพียงพอ และอินสแตนซ์จะทำงานจนกว่าคุณจะหยุด เมื่อ GPU-hours ของ GPU หนึ่งหมด อินสแตนซ์ของรุ่นนั้นจะหยุดทำงานและดิสก์ยังคงอยู่ ซื้อบล็อกชั่วโมงใหม่ก็เริ่มอินสแตนซ์เหล่านั้นได้อีกครั้ง หากการรันหยุดกลางทาง Trainer ของ Hugging Face จะรันต่อจาก checkpoint ล่าสุดในโฟลเดอร์ output เมื่อคุณเรียก trainer.train(resume_from_checkpoint=True) จาก Python Unsloth และ Axolotl เป็นเครื่องมือ LoRA ที่รู้จักกันดีอีกสองตัว คู่มือนี้ใช้ TRL เพราะ flag บน command line มีเอกสารอธิบายอยู่ในหน้าเว็บของ Hugging Face เอง
คำถามเกี่ยวกับการ fine-tune Llama
ต้องใช้ VRAM เท่าไรในการ fine-tune Llama 3.1 8B
ประมาณ 6 GB ด้วย QLoRA และ 19.2 GB ด้วย LoRA บนฐาน BF16 ดังนั้น RTX 4090 ขนาด 24 GB จึงรันได้ทั้งสองแบบ การ fine-tune แบบเต็มต้องใช้ 128 ถึง 144 GB ก่อนนับ activations คือ B200 หนึ่งตัวที่ 180 GB
ฉันสามารถ fine-tune Llama 70B บน GPU ตัวเดียวได้ไหม?
ได้ ด้วย QLoRA บน A100 หรือ H100 ขนาด 80 GB: ประมาณการอยู่ที่ 52.5 GB ส่วน LoRA บนฐาน BF16 ต้องใช้ประมาณ 168 GB คือ B200 หนึ่งตัวหรือ H200 สองตัว อ่านเพิ่มเติมได้ที่ GPU ที่ดีที่สุดสำหรับ fine-tune Llama 70B
ควรใช้ LoRA หรือ QLoRA
ใช้ QLoRA เมื่อหน่วยความจำคือข้อจำกัด: มันโหลดโมเดลฐานในแบบ 4-bit และลดหน่วยความจำลงราวสามเท่าเมื่อเทียบกับ LoRA ใช้ LoRA เมื่อ GPU มีที่ว่างพอ: ฐานยังคงอยู่ใน BF16 ลองเปรียบเทียบ adapter ทั้งสองแบบบนชุดประเมินผลของคุณเอง
การ fine-tune Llama ใช้เวลานานแค่ไหน
ขึ้นอยู่กับจำนวน training token ความยาว sequence และ batch size และเราไม่ได้วัดการรันจริง จึงไม่ให้ตัวเลขเวลา การจองบล็อก 10 ชั่วโมงเพียงพอสำหรับวัดจำนวน step ต่อชั่วโมงก่อนจะรันยาว
ฉันจ่ายค่า GPU ด้วยคริปโตได้ไหม
ได้ GPUwithCrypto รับ BTC, USDT, USDC, ETH, SOL, LTC, XMR จากการเติมเงิน US$1 โดยไม่ต้องใช้ ID และไม่ต้องใช้บัตร อินสแตนซ์คิดค่าบริการเป็นรายนาทีตามอัตรารายชั่วโมงตลอดเวลาที่ทำงาน โดยหักจาก GPU-hours ที่คุณซื้อไว้สำหรับ GPU รุ่นนั้น การหยุดอินสแตนซ์จะหยุดการคิดค่าบริการทันที
แหล่งที่มา (12)
- อินเทอร์เฟซบรรทัดคำสั่งของ TRL — Hugging Face (read 2026-10-29)
- การผสานรวม TRL PEFT (LoRA, QLoRA, การบันทึก adapter) — Hugging Face (read 2026-10-29)
- คู่มือ Hugging Face CLI (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
- Trainer และ TrainingArguments — Hugging Face (read 2026-10-29)
- Model card ของ Llama 3.1 8B — Meta / Hugging Face (read 2026-10-29)
- การ์ดข้อมูลโมเดล Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- สูตรการใช้งาน vLLM (flag สำหรับให้บริการ LoRA) — vLLM project (read 2026-10-29)
- การเปลี่ยนแปลงราคา SaladCloud พฤศจิกายน 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- ภาษีราคา Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)