# 대여한 GPU에서 Llama를 어떻게 미세 조정하나요?

> QLoRA 또는 LoRA로 대여한 GPU에서 Llama를 미세 조정하는 방법: TRL 명령어, QLoRA로 Llama 3.1 8B에 6 GB, 삭제 전 어댑터 저장. 암호화폐로 결제.

- URL: https://gpuwithcrypto.com/ko/guides/fine-tune-llama-on-rented-gpu/
- 최종 업데이트: 2026-10-29
- 발행자: GPUwithCrypto (https://gpuwithcrypto.com)

LoRA 또는 QLoRA 어댑터는 Llama에 여러분의 데이터를 가르치는 가장 저렴한 방법입니다. 이 가이드에서는 GPU를 고르고, Hugging Face TRL로 학습을 실행하고, 디스크가 지워지기 전에 어댑터를 머신 밖으로 꺼냅니다.

**빠른 답변 — 대여한 GPU에서 Llama를 어떻게 미세 조정하나요?**

렌트한 GPU에서 Llama를 파인튜닝하려면 Hugging Face TRL로 LoRA 또는 QLoRA 어댑터를 학습시키면 됩니다. Llama 3.1 8B는 QLoRA에서 약 6 GB, LoRA에서 19.2 GB가 필요하므로 24 GB RTX 4090 한 장이면 충분하고, Llama 3.1 70B는 QLoRA에서 약 52.5 GB가 필요하므로 A100 80GB 한 장이면 됩니다. 인스턴스를 삭제하기 전에 어댑터를 복사해 꺼내세요. 2026년 10월 29일 기준, **GPUwithCrypto**은 RTX 4090을 시간당 $0.28에 렌트하며 암호화폐로 결제합니다.

## Llama를 파인튜닝하려면 어떤 GPU가 필요한가요?

메모리는 저희 [VRAM 가이드](https://gpuwithcrypto.com/ko/how-much-vram-do-i-need/ "LLM을 실행하거나 파인튜닝하는 데 VRAM은 얼마나 필요할까?")의 규칙을 따릅니다: QLoRA ≈ 파라미터 10억 개당 0.75 GB, LoRA = 파라미터당 2바이트 × 1.2, 전체 파인튜닝은 파라미터당 16–18바이트. 저희 가격은 2026년 10월 29일 기준입니다.

| 모델 | 방법 | VRAM (규칙) | GPU | 시간당 GPUwithCrypto |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | QLoRA | 6 GB | 1× RTX 4090 (24 GB) | 시간당 $0.28 |
| Llama 3.1 8B | LoRA (BF16 기반) | 19.2 GB | 1× RTX 4090 (24 GB) | 시간당 $0.28 |
| Llama 3.1 8B | 전체 파인튜닝 | 128–144 GB + 활성화 값 | 1× B200 (180 GB) | 시간당 $4.61 |
| Llama 3.1 70B | QLoRA | 52.5 GB | 1× A100 80GB 또는 1× H100 | 시간당 $0.92 또는 $2.32/시간 |
| Llama 3.1 70B | LoRA (BF16 기반) | 168 GB | 1× B200 또는 2× H200 | 시간당 $4.61 또는 $6.14/hour |

*가격 확인일: 2026년 10월 29일.*

디스크: Llama 3.1 8B Instruct 가중치는 16.1 GB, 70B Instruct 가중치는 141.1 GB를 차지합니다. 체크포인트를 위한 공간을 남겨 두세요.

## Llama 3.1 8B의 QLoRA 파인튜닝은 어떻게 실행하나요?

명령은 Hugging Face TRL 및 Hub 문서에서 가져왔습니다. 80 GB GPU에서는 모델 id를 `meta-llama/Llama-3.1-70B-Instruct`로 바꾸면 70B 모델도 같은 방식으로 학습할 수 있습니다. 렌트한 GPU가 처음이신가요? [AI를 위한 GPU 렌트 방법](https://gpuwithcrypto.com/ko/guides/rent-a-gpu-for-ai/ "AI용 GPU를 단계별로 어떻게 렌트하나요?")에서 계정, SSH, 그리고 첫 작업을 다룹니다.

1. **GPU 렌트하기** — 8B 모델용으로 1× RTX 4090 인스턴스를, 70B용으로 1× A100 80GB 인스턴스를 시작하세요. 각 인스턴스는 시간 분할 조각이나 MIG 파티션이 아닌 전체 GPU를 제공합니다. NVIDIA 드라이버, CUDA, PyTorch가 설치된 Ubuntu에 root SSH로 접속하거나, 직접 만든 Docker 이미지로 시작할 수 있습니다.
2. **Llama 접근 권한 얻기** — Hugging Face의 meta-llama 저장소는 제한되어 있습니다: 모델 페이지에서 접근을 요청하고 Meta 라이선스에 동의한 뒤, 인스턴스에서 read 토큰으로 hf auth login을 실행하세요.
3. **TRL, PEFT, bitsandbytes 설치** — pip install "trl[peft]" bitsandbytes. bitsandbytes가 QLoRA에 필요한 4비트 로딩을 제공합니다.
4. **데이터셋 고르기** — Hugging Face 데이터셋 id 또는 대화가 담긴 직접 만든 파일을 사용하세요. 예제에서는 TRL 자체 예제에 쓰인 데이터셋인 trl-lib/Capybara을 사용합니다.
5. **어댑터 학습** — 아래 trl sft 명령을 tmux 안에서 실행하세요. --load_in_4bit는 기본 모델을 4비트로 불러오고, --use_peft은 LoRA 어댑터를 추가하며, 체크포인트는 --output_dir에 저장됩니다.
6. **어댑터 테스트** — 기본 모델을 불러오고 PEFT로 어댑터를 붙인 뒤, 직접 만든 프롬프트로 기본 모델과 답변을 비교하세요.
7. **어댑터를 복사해 꺼낸 뒤 삭제** — 모든 인스턴스에는 해당 GPU에 맞춰 크기가 정해진 로컬 NVMe 디스크가 있으며, 시작 전에 표시됩니다. 인스턴스를 삭제하면 디스크가 지워지므로 체크포인트를 먼저 복사해 두세요. 출력 폴더를 내 컴퓨터로 복사하거나 비공개 Hugging Face 저장소에 푸시한 뒤 인스턴스를 삭제하세요.

*train-qlora.sh*

```bash
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

```

## 주요 학습 플래그는 어떤 역할을 하나요?

- `--lora_r 32 --lora_alpha 16`: 어댑터의 rank와 scaling으로, TRL의 PEFT 예제에 있는 값입니다. Llama 3.1 8B의 선형 레이어 일곱 개 전체에 rank 32를 적용하면 약 8,400만 개의 파라미터, 즉 모델의 약 1%를 학습합니다.
- `--learning_rate 2.0e-4`: TRL 문서에서는 LoRA에 전체 파인튜닝 학습률(2.0e-5)의 약 10배를 권장합니다.
- `--per_device_train_batch_size 1 --gradient_accumulation_steps 16`: 배치 크기 1의 메모리로 유효 배치 16을 만듭니다.
- `--gradient_checkpointing`: 활성화를 저장하는 대신 다시 계산해, 메모리를 아끼는 대신 시간을 씁니다.
- `--save_strategy steps --save_steps 200`: 200 스텝마다 체크포인트를 저장하므로, 충돌이 나도 최대 200 스텝만 손실됩니다.

*save-adapter.sh*

```bash
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

```

## 렌트한 GPU에서 Llama를 파인튜닝하는 데 얼마가 드나요?

비용 = GPU 수 × 실제 경과 시간(시간) × GPU 시간당 가격. **아래 시간은 설명을 위한 가정이며 측정값이 아닙니다**: 실행 시간은 데이터셋의 토큰, 시퀀스 길이, 배치 크기에 따라 달라집니다. 저희의 10 GPU-hour 및 24 GPU-hour 블록에 맞는 시간을 골랐습니다. GPU-시간은 하나의 GPU 모델 기준으로 10, 24, 168, 720시간 블록 단위로 판매되며 시간당 요금은 동일합니다. 해당 GPU의 인스턴스는 이를 분 단위로 차감하며, 사용하지 않은 시간은 만료되지 않습니다. 모든 GPU와 블록은 [GPU 가격](https://gpuwithcrypto.com/ko/pricing/ "GPUwithCrypto에서 클라우드 GPU는 시간당 얼마인가요?")에 나와 있습니다.

작은 GPU가 가장 큰 절감 효과를 냅니다. 2026년 10월 29일 GPUwithCrypto의 가격 확인에 따르면, 셀프서비스 온디맨드 RTX 4090의 최저가는 시간당 $0.33(Salad)였고 최저 H100은 $2.73(Massed Compute)로 8.3배 더 비쌌습니다. 어느 쪽이든 24 GB에 들어가는 8B QLoRA 작업 기준입니다. [RTX 4090 가격 페이지](https://gpuwithcrypto.com/ko/gpu-prices/rtx-4090/ "RTX 4090을 시간당 임대하는 비용은 얼마인가요?")에 저희가 확인한 제공업체들이 나와 있습니다.

### 가정한 시간 기준 실행 비용 추정

| 작업 | 구성 | 가정한 시간(측정값 아님) | GPU-시간 | GPUwithCrypto 비용 |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B, QLoRA | 1× RTX 4090 | 10 | 10 | US$2.80 |
| Llama 3.1 8B, LoRA | 1× RTX 4090 | 24 | 24 | US$6.72 |
| Llama 3.1 70B, QLoRA | 1× A100 80GB | 24 | 24 | US$22.08 |
| Llama 3.1 70B, LoRA | 2× H200 | 12 | 24 | US$73.68 |

*가격 확인일: 2026년 10월 29일.*

## 렌트한 GPU에서 작업을 잃지 않으려면 어떻게 해야 하나요?

자주 저장하고, 일찍 복사해 두고, 잔액을 확인하세요. 인스턴스는 스팟이 아닌 온디맨드 방식입니다. 잔액이 유지되는 동안 누구도 GPU를 회수할 수 없으며, 직접 중지할 때까지 인스턴스가 실행됩니다. 해당 GPU의 GPU-시간이 소진되면 그 인스턴스는 중지되지만 디스크는 유지됩니다. 새 시간 블록을 구매하면 다시 시작할 수 있습니다. 실행이 중단되면 Python에서 `trainer.train(resume_from_checkpoint=True)`을 호출할 때 Hugging Face의 Trainer가 출력 폴더의 마지막 체크포인트에서 재개합니다. Unsloth와 Axolotl도 잘 알려진 LoRA 도구이며, 이 가이드에서는 Hugging Face 자체 페이지에 명령줄 플래그가 문서화되어 있는 TRL을 사용합니다.

## Llama 파인튜닝 관련 질문

### Llama 3.1 8B를 파인튜닝하려면 VRAM이 얼마나 필요한가요?

BF16 베이스 모델 기준으로 QLoRA는 약 6 GB, LoRA는 19.2 GB가 필요하므로 24 GB RTX 4090이면 둘 다 실행됩니다. 전체 파인튜닝은 활성화 이전에 128~144 GB가 필요하며, 180 GB B200 한 대가 필요합니다.

### Llama 70B를 GPU 한 장으로 파인튜닝할 수 있나요?

네, 80 GB A100 또는 H100에서 QLoRA로 가능합니다. 추정치는 52.5 GB입니다. BF16 베이스 모델 기준의 LoRA는 약 168 GB가 필요하므로 B200 한 대 또는 H200 두 대가 필요합니다. 자세한 내용은 [Llama 70B 파인튜닝에 가장 좋은 GPU](https://gpuwithcrypto.com/ko/best-gpu-for/fine-tuning-llama-70b/ "Llama 70B 파인튜닝(LoRA, QLoRA, full)에 가장 좋은 GPU는 무엇인가요?")에서 확인하세요.

### LoRA와 QLoRA 중 무엇을 써야 하나요?

메모리가 제한적일 때는 QLoRA를 쓰세요. 베이스 모델을 4-bit로 로드하며 LoRA 대비 메모리를 대략 3분의 1로 줄입니다. GPU에 여유가 있을 때는 LoRA를 쓰세요. 베이스가 BF16으로 유지됩니다. 두 어댑터를 여러분의 평가 세트에서 직접 비교해 보세요.

### Llama 파인튜닝은 얼마나 걸리나요?

학습 토큰 수, 시퀀스 길이, 배치 크기에 따라 다르고 저희는 실행 시간을 측정하지 않았으므로 시간을 제시하지 않습니다. 긴 실행 전에 시간당 스텝 수를 측정하기에는 10시간 블록이면 충분합니다.

### GPU를 암호화폐로 결제할 수 있나요?

네. GPUwithCrypto는 US$1 충전에서 BTC, USDT, USDC, ETH, SOL, LTC, XMR로 결제할 수 있으며, 신분증도 카드도 필요 없습니다. 인스턴스는 실행되는 동안 시간당 요금으로 분 단위 과금되며, 해당 GPU에 구매해 둔 GPU-시간에서 차감됩니다. 인스턴스를 중지하면 즉시 과금이 멈춥니다.

## 출처

1. [TRL 명령줄 인터페이스](https://huggingface.co/docs/trl/clis) — Hugging Face (read 2026-10-29)
2. [TRL PEFT 통합 (LoRA, QLoRA, 어댑터 저장)](https://huggingface.co/docs/trl/peft_integration) — Hugging Face (read 2026-10-29)
3. [Hugging Face CLI 가이드 (hf auth login, hf upload)](https://huggingface.co/docs/huggingface_hub/guides/cli) — Hugging Face (read 2026-10-29)
4. [Trainer 및 TrainingArguments](https://huggingface.co/docs/transformers/main_classes/trainer) — Hugging Face (read 2026-10-29)
5. [Llama 3.1 8B 모델 카드](https://huggingface.co/meta-llama/Llama-3.1-8B) — Meta / Hugging Face (read 2026-10-29)
6. [Llama 3.1 70B 모델 카드](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
8. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
9. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
10. [vLLM 레시피 (LoRA 서빙 플래그)](https://recipes.vllm.ai/) — vLLM project (read 2026-10-29)
11. [SaladCloud 가격 변경, 2026년 11월](https://blog.salad.com/saladcloud-price-changes-november-2026) — Salad (read 2026-10-29)
12. [Massed Compute 요금](https://vm.massedcompute.com/pricing) — Massed Compute (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto는 클라우드 GPU(NVIDIA H100, H200, B200, A100, L40S, RTX 4090, RTX 5090)를 분 단위로 임대하며, KYC 없이 암호화폐로 결제합니다. 각 GPU 가격은 2026년 10월 29일 기준으로 확인된 특정 온디맨드 참조 가격보다 최소 15% 낮게 책정됩니다.