Trả lời nhanh
Làm sao để fine-tune Llama trên GPU thuê?
Để fine-tune Llama trên GPU thuê, hãy huấn luyện một adapter LoRA hoặc QLoRA bằng Hugging Face TRL. Llama 3.1 8B cần khoảng 6 GB ở chế độ QLoRA và 19.2 GB ở chế độ LoRA, nên một chiếc RTX 4090 24 GB là đủ; Llama 3.1 70B ở chế độ QLoRA cần khoảng 52.5 GB, tức một chiếc A100 80GB. Hãy sao chép adapter ra ngoài trước khi xóa instance. Tính đến ngày 29 tháng 10 năm 2026, GPUwithCrypto cho thuê RTX 4090 với giá $0.28/giờ, thanh toán bằng crypto.
Tôi cần GPU nào để fine-tune Llama?
Bộ nhớ theo các quy tắc trong hướng dẫn VRAM của chúng tôi: QLoRA ≈ 0.75 GB cho mỗi tỷ tham số, LoRA = 2 byte mỗi tham số × 1.2, full fine-tuning 16–18 byte mỗi tham số. Giá của chúng tôi ngày 29 tháng 10 năm 2026.
| Mô hình | Phương pháp | VRAM (quy tắc) | GPU | GPUwithCrypto mỗi giờ |
|---|---|---|---|---|
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/giờ |
| Llama 3.1 8B | LoRA (base BF16) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/giờ |
| Llama 3.1 8B | Full fine-tune | 128–144 GB + activations | 1× B200 (180 GB) | $4.61/giờ |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB hoặc 1× H100 | $0.92/giờ hoặc $2.32/giờ |
| Llama 3.1 70B | LoRA (base BF16) | 168 GB | 1× B200 hoặc 2× H200 | $4.61/giờ hoặc $6.14/giờ |
Giá được kiểm tra vào
Ổ đĩa: trọng số Llama 3.1 8B Instruct chiếm 16.1 GB, trọng số 70B Instruct chiếm 141.1 GB. Hãy chừa chỗ cho các checkpoint.
Làm thế nào để chạy một lần fine-tune QLoRA cho Llama 3.1 8B?
Các lệnh lấy từ tài liệu Hugging Face TRL và Hub. Thay model id bằng meta-llama/Llama-3.1-70B-Instruct trên một GPU 80 GB để huấn luyện mô hình 70B theo cùng cách. Mới dùng GPU thuê? Cách thuê GPU cho AI bao gồm tài khoản, SSH và một công việc đầu tiên.
Thuê GPU
Khởi tạo một instance 1× RTX 4090 cho mô hình 8B, hoặc một chiếc 1× A100 80GB cho 70B. Mỗi instance cung cấp cho bạn nguyên chiếc GPU, không bao giờ là một phần chia sẻ thời gian hay một phân vùng MIG. Bạn có quyền truy cập SSH root vào Ubuntu với NVIDIA driver, CUDA và PyTorch đã cài sẵn, hoặc khởi động từ Docker image của riêng bạn.
Xin quyền truy cập Llama
Các repository meta-llama trên Hugging Face bị hạn chế: hãy yêu cầu quyền truy cập trên trang mô hình và chấp nhận giấy phép của Meta, sau đó chạy
hf auth logintrên instance với một read token.Cài đặt TRL, PEFT và bitsandbytes
pip install "trl[peft]" bitsandbytes. bitsandbytes cung cấp khả năng tải 4-bit mà QLoRA cần.Chọn một bộ dữ liệu
Dùng một dataset id trên Hugging Face hoặc file hội thoại của riêng bạn. Ví dụ dùng
trl-lib/Capybara, bộ dữ liệu trong chính các ví dụ của TRL.Huấn luyện adapter
Chạy lệnh
trl sftbên dưới trongtmux.--load_in_4bittải mô hình gốc ở chế độ 4-bit,--use_peftthêm adapter LoRA, và các checkpoint được lưu vào--output_dir.Kiểm tra adapter
Tải mô hình gốc, gắn adapter bằng PEFT và so sánh câu trả lời với mô hình gốc trên các prompt của riêng bạn.
Sao chép adapter ra ngoài, rồi xóa
Mỗi instance có ổ NVMe cục bộ, dung lượng phù hợp với GPU của nó và được hiển thị trước khi bạn bắt đầu. Ổ đĩa bị xóa khi bạn xóa instance, nên hãy sao chép các checkpoint ra trước. Sao chép thư mục đầu ra về máy tính của bạn hoặc đẩy lên một repository Hugging Face riêng tư, sau đó xóa instance.
pip install "trl[peft]" bitsandbytes
hf auth login
trl sft \
--model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
--dataset_name trl-lib/Capybara \
--load_in_4bit \
--use_peft \
--lora_r 32 \
--lora_alpha 16 \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--learning_rate 2.0e-4 \
--num_train_epochs 1 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--gradient_checkpointing \
--save_strategy steps \
--save_steps 200 \
--output_dir llama-3.1-8b-qlora
Các flag huấn luyện chính có tác dụng gì?
--lora_r 32 --lora_alpha 16: rank và scaling của adapter, các giá trị trong ví dụ PEFT của TRL. Rank 32 trên cả bảy lớp linear của Llama 3.1 8B huấn luyện khoảng 84 triệu tham số, khoảng 1% của mô hình.--learning_rate 2.0e-4: tài liệu của TRL khuyến nghị khoảng 10 lần tốc độ full fine-tuning (2.0e-5) cho LoRA.--per_device_train_batch_size 1 --gradient_accumulation_steps 16: batch hiệu dụng là 16 với bộ nhớ của batch bằng 1.--gradient_checkpointing: tính lại các activation thay vì lưu chúng, đánh đổi thời gian lấy bộ nhớ.--save_strategy steps --save_steps 200: ghi một checkpoint mỗi 200 bước, nên nếu sự cố xảy ra thì mất tối đa 200 bước.
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/
# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .
# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora --max-lora-rank 32 \
--lora-modules my-adapter=./llama-3.1-8b-qlora
Fine-tune Llama trên GPU thuê tốn bao nhiêu?
Chi phí = số GPU × số giờ thực tế × giá mỗi GPU-giờ. Số giờ dưới đây là giả định để minh họa, không phải số đo thực tế: thời gian chạy phụ thuộc vào số token của bộ dữ liệu, độ dài chuỗi và batch size. Chúng tôi chọn số giờ khớp với các gói 10 và 24 GPU-giờ của mình. GPU-giờ được bán theo gói 10, 24, 168 hoặc 720 giờ cho một mẫu GPU, cùng mức giá theo giờ; instance của GPU đó rút từ số giờ này theo phút, và số giờ chưa dùng không bao giờ hết hạn. Mọi GPU và gói đều được liệt kê trên giá GPU.
Một GPU nhỏ là khoản tiết kiệm lớn nhất. Theo kiểm tra giá của GPUwithCrypto ngày 29 tháng 10 năm 2026, RTX 4090 tự phục vụ theo yêu cầu rẻ nhất có giá $0.33 mỗi giờ (Salad) và H100 rẻ nhất $2.73 (Massed Compute): đắt hơn 8.3 lần, cho một công việc QLoRA 8B vừa vặn trong 24 GB dù chọn cách nào. Trang giá RTX 4090 liệt kê các nhà cung cấp chúng tôi đã kiểm tra.
Ước tính chi phí chạy theo số giờ giả định
| Công việc | Cấu hình | Số giờ giả định (không đo thực tế) | GPU-giờ | Chi phí GPUwithCrypto |
|---|---|---|---|---|
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | 2,80 US$ |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | 6,72 US$ |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | 22,08 US$ |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | 73,68 US$ |
Giá được kiểm tra vào
Làm sao để không mất công việc trên GPU thuê?
Hãy lưu thường xuyên, sao chép kết quả ra sớm và theo dõi số dư. Instance là on-demand, không phải spot: không ai có thể lấy lại GPU của bạn khi số dư của bạn còn đủ, và instance chạy cho đến khi bạn dừng nó. Khi số GPU-giờ của một GPU hết, các instance của nó dừng lại và ổ đĩa của chúng được giữ nguyên; một gói giờ mới cho phép bạn khởi chạy chúng lại. Nếu một lượt chạy dừng lại, Trainer của Hugging Face sẽ tiếp tục từ checkpoint cuối cùng trong thư mục output khi bạn gọi trainer.train(resume_from_checkpoint=True) từ Python. Unsloth và Axolotl là hai công cụ LoRA nổi tiếng khác; hướng dẫn này dùng TRL vì các cờ dòng lệnh của nó được ghi trong chính các trang của Hugging Face.
Câu hỏi về fine-tune Llama
Cần bao nhiêu VRAM để fine-tune Llama 3.1 8B?
Khoảng 6 GB với QLoRA và 19.2 GB với LoRA trên base BF16, nên một RTX 4090 24 GB chạy được cả hai. Full fine-tuning cần 128 đến 144 GB trước phần activations, tức một B200 180 GB.
Tôi có thể fine-tune Llama 70B trên một GPU không?
Được, với QLoRA trên A100 hoặc H100 80 GB: ước tính là 52.5 GB. LoRA trên base BF16 cần khoảng 168 GB, tức một B200 hoặc hai H200. Xem thêm trong GPU tốt nhất để fine-tune Llama 70B.
Nên dùng LoRA hay QLoRA?
QLoRA khi bộ nhớ là giới hạn: nó nạp base model ở 4-bit và giảm bộ nhớ khoảng ba lần so với LoRA. LoRA khi GPU còn chỗ: base vẫn ở BF16. Hãy so sánh cả hai adapter trên bộ đánh giá của chính bạn.
Fine-tune Llama mất bao lâu?
Điều đó phụ thuộc vào số training token, độ dài chuỗi và batch size, và chúng tôi chưa đo một lượt chạy nào nên không đưa ra thời gian. Một block 10 giờ là đủ để đo số bước mỗi giờ trước khi chạy dài.
Tôi có thể trả tiền GPU bằng crypto không?
Có. GPUwithCrypto nhận BTC, USDT, USDC, ETH, SOL, LTC từ một lần nạp 25 US$, không cần ID và không cần thẻ. Instance được tính tiền theo phút với mức giá theo giờ trong khi chạy, trừ vào số GPU-giờ bạn đã mua cho GPU đó. Dừng instance là dừng tính tiền ngay lập tức.
Nguồn (12)
- Giao diện dòng lệnh TRL — Hugging Face (read 2026-10-29)
- Tích hợp TRL PEFT (LoRA, QLoRA, lưu adapter) — Hugging Face (read 2026-10-29)
- Hướng dẫn Hugging Face CLI (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
- Trainer và TrainingArguments — Hugging Face (read 2026-10-29)
- Model card Llama 3.1 8B — Meta / Hugging Face (read 2026-10-29)
- Thẻ model Llama 3.1 70B — Meta / Hugging Face (read 2026-10-29)
- The Llama 3 Herd of Models (Bảng 3) — arXiv (read 2026-10-29)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Công thức vLLM (các cờ phục vụ LoRA) — vLLM project (read 2026-10-29)
- Thay đổi giá SaladCloud, tháng 11 năm 2026 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
- Giá Massed Compute vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)