# Bagaimana cara fine-tune Llama di GPU sewaan?

> Cara fine-tune Llama di GPU sewaan dengan QLoRA atau LoRA: perintah TRL, 6 GB untuk Llama 3.1 8B, dan simpan adapter sebelum hapus. Bayar dengan kripto.

- URL: https://gpuwithcrypto.com/id/guides/fine-tune-llama-on-rented-gpu/
- Terakhir diperbarui: 2026-10-29
- Penerbit: GPUwithCrypto (https://gpuwithcrypto.com)

Adapter LoRA atau QLoRA adalah cara termurah untuk mengajarkan data Anda ke Llama. Panduan ini memilih GPU, menjalankan pelatihan dengan Hugging Face TRL, dan memindahkan adapter keluar dari mesin sebelum disk dihapus.

**Jawaban singkat — Bagaimana cara fine-tune Llama di GPU sewaan?**

Untuk fine-tune Llama di GPU sewaan, latih adapter LoRA atau QLoRA dengan Hugging Face TRL. Llama 3.1 8B membutuhkan sekitar 6 GB dalam QLoRA dan 19,2 GB dalam LoRA, jadi satu RTX 4090 24 GB sudah cukup; Llama 3.1 70B dalam QLoRA membutuhkan sekitar 52,5 GB, satu A100 80GB. Salin adapter keluar sebelum menghapus instance. Per 29 Oktober 2026, **GPUwithCrypto** menyewakan RTX 4090 seharga $0.28/jam, dibayar dengan kripto.

## GPU apa yang saya butuhkan untuk fine-tune Llama?

Memori menurut aturan di [panduan VRAM](https://gpuwithcrypto.com/id/how-much-vram-do-i-need/ "Berapa VRAM yang saya butuhkan untuk menjalankan atau fine-tuning LLM?") kami: QLoRA ≈ 0,75 GB per miliar parameter, LoRA = 2 byte per parameter × 1,2, full fine-tuning 16–18 byte per parameter. Harga kami per 29 Oktober 2026.

| Model | Metode | VRAM (aturan) | GPU | GPUwithCrypto per jam |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | $0.28/jam |
| Llama 3.1 8B | LoRA (base BF16) | 19.2 GB | 1× RTX 4090 (24 GB) | $0.28/jam |
| Llama 3.1 8B | Full fine-tune | 128–144 GB + aktivasi | 1× B200 (180 GB) | $4.61/jam |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB atau 1× H100 | $0.92/jam atau $2.32/jam |
| Llama 3.1 70B | LoRA (base BF16) | 168 GB | 1× B200 atau 2× H200 | $4.61/jam atau $6.14/jam |

*Harga diperiksa pada 29 Oktober 2026.*

Disk: bobot Llama 3.1 8B Instruct memakan 16,1 GB, bobot 70B Instruct 141,1 GB. Sisakan ruang untuk checkpoint.

## Bagaimana cara menjalankan fine-tune QLoRA untuk Llama 3.1 8B?

Perintah dari dokumentasi Hugging Face TRL dan Hub. Ganti model id dengan `meta-llama/Llama-3.1-70B-Instruct` pada GPU 80 GB untuk melatih model 70B dengan cara yang sama. Baru mengenal GPU sewaan? [Cara menyewa GPU untuk AI](https://gpuwithcrypto.com/id/guides/rent-a-gpu-for-ai/ "Bagaimana cara menyewa GPU untuk AI, langkah demi langkah?") membahas akun, SSH, dan job pertama.

1. **Sewa GPU** — Mulai instance 1× RTX 4090 untuk model 8B, atau 1× A100 80GB untuk 70B. Setiap instance memberi Anda GPU utuh, bukan irisan time-shared atau partisi MIG. Anda mendapat akses root SSH ke Ubuntu dengan driver NVIDIA, CUDA dan PyTorch terpasang, atau mulai dari image Docker Anda sendiri.
2. **Dapatkan akses ke Llama** — Repositori meta-llama di Hugging Face dibatasi: minta akses di halaman model dan terima lisensi Meta, lalu jalankan hf auth login di instance dengan read token.
3. **Instal TRL, PEFT, dan bitsandbytes** — pip install "trl[peft]" bitsandbytes. bitsandbytes menyediakan pemuatan 4-bit yang dibutuhkan QLoRA.
4. **Pilih dataset** — Gunakan dataset id Hugging Face atau file percakapan Anda sendiri. Contoh ini menggunakan trl-lib/Capybara, dataset dalam contoh TRL sendiri.
5. **Latih adapter** — Jalankan perintah trl sft di bawah ini di dalam tmux. --load_in_4bit memuat base dalam 4-bit, --use_peft menambahkan adapter LoRA, dan checkpoint tersimpan di --output_dir.
6. **Uji adapter** — Muat model base, pasang adapter dengan PEFT, dan bandingkan jawaban dengan model base pada prompt Anda sendiri.
7. **Salin adapter keluar, lalu hapus** — Setiap instance memiliki disk NVMe lokal, disesuaikan untuk GPU-nya dan ditampilkan sebelum Anda memulai. Disk dihapus saat Anda menghapus instance, jadi salin checkpoint Anda terlebih dahulu. Salin folder output ke komputer Anda atau push ke repositori Hugging Face privat, lalu hapus instance.

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## Apa fungsi flag pelatihan utama?

- `--lora_r 32 --lora_alpha 16`: rank dan scaling adapter, nilai dalam contoh PEFT TRL. Rank 32 pada ketujuh layer linear Llama 3.1 8B melatih sekitar 84 juta parameter, sekitar 1% dari model.
- `--learning_rate 2.0e-4`: dokumentasi TRL merekomendasikan sekitar 10 kali laju full fine-tuning (2.0e-5) untuk LoRA.
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`: batch efektif 16 dengan memori batch 1.
- `--gradient_checkpointing`: menghitung ulang aktivasi alih-alih menyimpannya, menukar waktu dengan memori.
- `--save_strategy steps --save_steps 200`: menulis checkpoint setiap 200 langkah, sehingga crash paling banyak memakan 200 langkah.

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## Berapa biaya fine-tune Llama di GPU sewaan?

Biaya = jumlah GPU × jam waktu berjalan × harga per GPU-jam. **Jam di bawah ini adalah asumsi untuk ilustrasi, bukan pengukuran**: waktu eksekusi bergantung pada token dataset, panjang sekuens, dan ukuran batch Anda. Kami memilih jam yang sesuai dengan blok 10 dan 24 GPU-jam kami. GPU-jam dijual dalam blok 10, 24, 168 atau 720 jam untuk satu model GPU, dengan tarif per jam yang sama; instance GPU tersebut menariknya per menit, dan jam yang tidak terpakai tidak pernah kedaluwarsa. Setiap GPU dan blok tercantum di [harga GPU](https://gpuwithcrypto.com/id/pricing/ "Berapa harga GPU cloud per jam di GPUwithCrypto?").

GPU kecil adalah penghematan terbesar. Menurut pengecekan harga GPUwithCrypto per 29 Oktober 2026, RTX 4090 on-demand self-serve terendah berharga $0.33 per jam (Salad) dan H100 terendah $2.73 (Massed Compute): 8,3 kali lebih mahal, untuk job QLoRA 8B yang muat di 24 GB baik dengan GPU mana pun. [Halaman harga RTX 4090](https://gpuwithcrypto.com/id/gpu-prices/rtx-4090/ "Berapa biaya sewa RTX 4090 per jam?") mencantumkan penyedia yang kami periksa.

### Estimasi biaya run berdasarkan jam yang diasumsikan

| Job | Konfigurasi | Jam yang diasumsikan (tidak diukur) | GPU-jam | Biaya GPUwithCrypto |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | US$2,80 |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | US$6,72 |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | US$22,08 |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | US$73,68 |

*Harga diperiksa pada 29 Oktober 2026.*

## Bagaimana cara menghindari kehilangan pekerjaan di GPU sewaan?

Simpan sering, salin keluar lebih awal, dan pantau saldo. Instance bersifat on-demand, bukan spot: tidak ada yang bisa mengambil kembali GPU Anda selama saldo Anda mencukupinya, dan instance berjalan sampai Anda menghentikannya. Saat GPU-jam suatu GPU habis, instance-nya berhenti dan disk-nya disimpan; blok jam baru memungkinkan Anda menjalankannya lagi. Jika proses berhenti, Trainer dari Hugging Face melanjutkan dari checkpoint terakhir di folder output saat Anda memanggil `trainer.train(resume_from_checkpoint=True)` dari Python. Unsloth dan Axolotl adalah dua alat LoRA terkenal lainnya; panduan ini memakai TRL karena flag command-line-nya didokumentasikan di halaman Hugging Face sendiri.

## Pertanyaan seputar fine-tuning Llama

### Berapa VRAM yang saya butuhkan untuk fine-tuning Llama 3.1 8B?

Sekitar 6 GB dengan QLoRA dan 19,2 GB dengan LoRA pada basis BF16, jadi RTX 4090 24 GB bisa menjalankan keduanya. Full fine-tuning butuh 128 hingga 144 GB sebelum aktivasi, satu B200 180 GB.

### Bisakah saya melakukan fine-tuning Llama 70B di satu GPU?

Ya, dengan QLoRA di A100 80 GB atau H100: perkiraannya 52,5 GB. LoRA pada basis BF16 butuh sekitar 168 GB, satu B200 atau dua H200. Selengkapnya di [GPU terbaik untuk fine-tuning Llama 70B](https://gpuwithcrypto.com/id/best-gpu-for/fine-tuning-llama-70b/ "Apa GPU terbaik untuk fine-tune Llama 70B (LoRA, QLoRA, full)?").

### Apakah saya harus memakai LoRA atau QLoRA?

QLoRA saat memori jadi batasan: ia memuat model dasar dalam 4-bit dan kira-kira membagi memori menjadi sepertiga dibanding LoRA. LoRA saat GPU masih lega: basis tetap di BF16. Bandingkan kedua adapter pada set evaluasi Anda sendiri.

### Berapa lama fine-tuning Llama?

Tergantung jumlah token pelatihan, panjang sekuens, dan ukuran batch, dan kami belum mengukur satu pun proses, jadi kami tidak memberi estimasi waktu. Blok 10 jam cukup untuk mengukur langkah per jam Anda sebelum menjalankan proses panjang.

### Bisakah saya membayar GPU dengan kripto?

Ya. GPUwithCrypto menerima BTC, USDT, USDC, ETH, SOL, LTC, XMR dari top-up US$1, tanpa ID dan tanpa kartu. Instance ditagih per menit dengan tarif per jam selama berjalan, dari GPU-jam yang Anda beli untuk GPU tersebut. Menghentikan instance langsung menghentikan tagihan.

## Sumber

1. [Antarmuka command line TRL](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [Integrasi TRL PEFT (LoRA, QLoRA, menyimpan adapter)](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Panduan Hugging Face CLI (hf auth login, hf upload)](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [Trainer dan TrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Model card Llama 3.1 8B](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Kartu model Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [Resep vLLM (flag serving LoRA)](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [Perubahan harga SaladCloud, November 2026](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Harga Massed Compute](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto menyewakan GPU cloud (NVIDIA H100, H200, B200, A100, L40S, RTX 4090, dan RTX 5090) per menit, bayar dengan kripto tanpa KYC; setiap GPU diberi harga minimal 15% di bawah referensi on-demand bernama yang dibaca pada 29 Oktober 2026.