KYC 없이 · 신분증도 카드도 필요 없습니다. 암호화폐로 결제하세요: BTC, USDT, USDC, ETH, SOL, LTC, XMR
언어: 한국어
GPU 대여하기

가이드 · Hugging Face TRL 명령은 공식 문서와 대조해 확인했습니다 · 2026년 10월 29일 가격

대여한 GPU에서 Llama를 어떻게 미세 조정하나요?

LoRA 또는 QLoRA 어댑터는 Llama에 여러분의 데이터를 가르치는 가장 저렴한 방법입니다. 이 가이드에서는 GPU를 고르고, Hugging Face TRL로 학습을 실행하고, 디스크가 지워지기 전에 어댑터를 머신 밖으로 꺼냅니다.

최종 업데이트: · 6 분 소요

빠른 답변

대여한 GPU에서 Llama를 어떻게 미세 조정하나요?

렌트한 GPU에서 Llama를 파인튜닝하려면 Hugging Face TRL로 LoRA 또는 QLoRA 어댑터를 학습시키면 됩니다. Llama 3.1 8B는 QLoRA에서 약 6 GB, LoRA에서 19.2 GB가 필요하므로 24 GB RTX 4090 한 장이면 충분하고, Llama 3.1 70B는 QLoRA에서 약 52.5 GB가 필요하므로 A100 80GB 한 장이면 됩니다. 인스턴스를 삭제하기 전에 어댑터를 복사해 꺼내세요. 2026년 10월 29일 기준, GPUwithCrypto은 RTX 4090을 시간당 $0.28에 렌트하며 암호화폐로 결제합니다.

Llama를 파인튜닝하려면 어떤 GPU가 필요한가요?

메모리는 저희 VRAM 가이드의 규칙을 따릅니다: QLoRA ≈ 파라미터 10억 개당 0.75 GB, LoRA = 파라미터당 2바이트 × 1.2, 전체 파인튜닝은 파라미터당 16–18바이트. 저희 가격은 2026년 10월 29일 기준입니다.

모델방법VRAM (규칙)GPU시간당 GPUwithCrypto
Llama 3.1 8BQLoRA6 GB1× RTX 4090 (24 GB)시간당 $0.28
Llama 3.1 8BLoRA (BF16 기반)19.2 GB1× RTX 4090 (24 GB)시간당 $0.28
Llama 3.1 8B전체 파인튜닝128–144 GB + 활성화 값1× B200 (180 GB)시간당 $4.61
Llama 3.1 70BQLoRA52.5 GB1× A100 80GB 또는 1× H100시간당 $0.92 또는 $2.32/시간
Llama 3.1 70BLoRA (BF16 기반)168 GB1× B200 또는 2× H200시간당 $4.61 또는 $6.14/hour

가격 확인일:

디스크: Llama 3.1 8B Instruct 가중치는 16.1 GB, 70B Instruct 가중치는 141.1 GB를 차지합니다. 체크포인트를 위한 공간을 남겨 두세요.

Llama 3.1 8B의 QLoRA 파인튜닝은 어떻게 실행하나요?

명령은 Hugging Face TRL 및 Hub 문서에서 가져왔습니다. 80 GB GPU에서는 모델 id를 meta-llama/Llama-3.1-70B-Instruct로 바꾸면 70B 모델도 같은 방식으로 학습할 수 있습니다. 렌트한 GPU가 처음이신가요? AI를 위한 GPU 렌트 방법에서 계정, SSH, 그리고 첫 작업을 다룹니다.

  1. GPU 렌트하기

    8B 모델용으로 1× RTX 4090 인스턴스를, 70B용으로 1× A100 80GB 인스턴스를 시작하세요. 각 인스턴스는 시간 분할 조각이나 MIG 파티션이 아닌 전체 GPU를 제공합니다. NVIDIA 드라이버, CUDA, PyTorch가 설치된 Ubuntu에 root SSH로 접속하거나, 직접 만든 Docker 이미지로 시작할 수 있습니다.

  2. Llama 접근 권한 얻기

    Hugging Face의 meta-llama 저장소는 제한되어 있습니다: 모델 페이지에서 접근을 요청하고 Meta 라이선스에 동의한 뒤, 인스턴스에서 read 토큰으로 hf auth login을 실행하세요.

  3. TRL, PEFT, bitsandbytes 설치

    pip install "trl[peft]" bitsandbytes. bitsandbytes가 QLoRA에 필요한 4비트 로딩을 제공합니다.

  4. 데이터셋 고르기

    Hugging Face 데이터셋 id 또는 대화가 담긴 직접 만든 파일을 사용하세요. 예제에서는 TRL 자체 예제에 쓰인 데이터셋인 trl-lib/Capybara을 사용합니다.

  5. 어댑터 학습

    아래 trl sft 명령을 tmux 안에서 실행하세요. --load_in_4bit는 기본 모델을 4비트로 불러오고, --use_peft은 LoRA 어댑터를 추가하며, 체크포인트는 --output_dir에 저장됩니다.

  6. 어댑터 테스트

    기본 모델을 불러오고 PEFT로 어댑터를 붙인 뒤, 직접 만든 프롬프트로 기본 모델과 답변을 비교하세요.

  7. 어댑터를 복사해 꺼낸 뒤 삭제

    모든 인스턴스에는 해당 GPU에 맞춰 크기가 정해진 로컬 NVMe 디스크가 있으며, 시작 전에 표시됩니다. 인스턴스를 삭제하면 디스크가 지워지므로 체크포인트를 먼저 복사해 두세요. 출력 폴더를 내 컴퓨터로 복사하거나 비공개 Hugging Face 저장소에 푸시한 뒤 인스턴스를 삭제하세요.

train-qlora.sh
pip install "trl[peft]" bitsandbytes
hf auth login

trl sft \
  --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \
  --dataset_name trl-lib/Capybara \
  --load_in_4bit \
  --use_peft \
  --lora_r 32 \
  --lora_alpha 16 \
  --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
  --learning_rate 2.0e-4 \
  --num_train_epochs 1 \
  --per_device_train_batch_size 1 \
  --gradient_accumulation_steps 16 \
  --gradient_checkpointing \
  --save_strategy steps \
  --save_steps 200 \
  --output_dir llama-3.1-8b-qlora

주요 학습 플래그는 어떤 역할을 하나요?

  • --lora_r 32 --lora_alpha 16: 어댑터의 rank와 scaling으로, TRL의 PEFT 예제에 있는 값입니다. Llama 3.1 8B의 선형 레이어 일곱 개 전체에 rank 32를 적용하면 약 8,400만 개의 파라미터, 즉 모델의 약 1%를 학습합니다.
  • --learning_rate 2.0e-4: TRL 문서에서는 LoRA에 전체 파인튜닝 학습률(2.0e-5)의 약 10배를 권장합니다.
  • --per_device_train_batch_size 1 --gradient_accumulation_steps 16: 배치 크기 1의 메모리로 유효 배치 16을 만듭니다.
  • --gradient_checkpointing: 활성화를 저장하는 대신 다시 계산해, 메모리를 아끼는 대신 시간을 씁니다.
  • --save_strategy steps --save_steps 200: 200 스텝마다 체크포인트를 저장하므로, 충돌이 나도 최대 200 스텝만 손실됩니다.
save-adapter.sh
# from your computer: copy the adapter folder before you delete the instance
rsync -avP -e "ssh -p SSH_PORT" root@HOST:/root/llama-3.1-8b-qlora/ ./llama-3.1-8b-qlora/

# or, on the instance: create a private repo on huggingface.co first, then upload
hf upload your-name/llama-3.1-8b-qlora ./llama-3.1-8b-qlora .

# later, serve the base model with the adapter in vLLM
vllm serve meta-llama/Llama-3.1-8B-Instruct \
  --enable-lora --max-lora-rank 32 \
  --lora-modules my-adapter=./llama-3.1-8b-qlora

렌트한 GPU에서 Llama를 파인튜닝하는 데 얼마가 드나요?

비용 = GPU 수 × 실제 경과 시간(시간) × GPU 시간당 가격. 아래 시간은 설명을 위한 가정이며 측정값이 아닙니다: 실행 시간은 데이터셋의 토큰, 시퀀스 길이, 배치 크기에 따라 달라집니다. 저희의 10 GPU-hour 및 24 GPU-hour 블록에 맞는 시간을 골랐습니다. GPU-시간은 하나의 GPU 모델 기준으로 10, 24, 168, 720시간 블록 단위로 판매되며 시간당 요금은 동일합니다. 해당 GPU의 인스턴스는 이를 분 단위로 차감하며, 사용하지 않은 시간은 만료되지 않습니다. 모든 GPU와 블록은 GPU 가격에 나와 있습니다.

작은 GPU가 가장 큰 절감 효과를 냅니다. 2026년 10월 29일 GPUwithCrypto의 가격 확인에 따르면, 셀프서비스 온디맨드 RTX 4090의 최저가는 시간당 $0.33(Salad)였고 최저 H100은 $2.73(Massed Compute)로 8.3배 더 비쌌습니다. 어느 쪽이든 24 GB에 들어가는 8B QLoRA 작업 기준입니다. RTX 4090 가격 페이지에 저희가 확인한 제공업체들이 나와 있습니다.

가정한 시간 기준 실행 비용 추정

작업구성가정한 시간(측정값 아님)GPU-시간GPUwithCrypto 비용
Llama 3.1 8B, QLoRA1× RTX 40901010US$2.80
Llama 3.1 8B, LoRA1× RTX 40902424US$6.72
Llama 3.1 70B, QLoRA1× A100 80GB2424US$22.08
Llama 3.1 70B, LoRA2× H2001224US$73.68

가격 확인일:

렌트한 GPU에서 작업을 잃지 않으려면 어떻게 해야 하나요?

자주 저장하고, 일찍 복사해 두고, 잔액을 확인하세요. 인스턴스는 스팟이 아닌 온디맨드 방식입니다. 잔액이 유지되는 동안 누구도 GPU를 회수할 수 없으며, 직접 중지할 때까지 인스턴스가 실행됩니다. 해당 GPU의 GPU-시간이 소진되면 그 인스턴스는 중지되지만 디스크는 유지됩니다. 새 시간 블록을 구매하면 다시 시작할 수 있습니다. 실행이 중단되면 Python에서 trainer.train(resume_from_checkpoint=True)을 호출할 때 Hugging Face의 Trainer가 출력 폴더의 마지막 체크포인트에서 재개합니다. Unsloth와 Axolotl도 잘 알려진 LoRA 도구이며, 이 가이드에서는 Hugging Face 자체 페이지에 명령줄 플래그가 문서화되어 있는 TRL을 사용합니다.

Llama 파인튜닝 관련 질문

Llama 3.1 8B를 파인튜닝하려면 VRAM이 얼마나 필요한가요?

BF16 베이스 모델 기준으로 QLoRA는 약 6 GB, LoRA는 19.2 GB가 필요하므로 24 GB RTX 4090이면 둘 다 실행됩니다. 전체 파인튜닝은 활성화 이전에 128~144 GB가 필요하며, 180 GB B200 한 대가 필요합니다.

Llama 70B를 GPU 한 장으로 파인튜닝할 수 있나요?

네, 80 GB A100 또는 H100에서 QLoRA로 가능합니다. 추정치는 52.5 GB입니다. BF16 베이스 모델 기준의 LoRA는 약 168 GB가 필요하므로 B200 한 대 또는 H200 두 대가 필요합니다. 자세한 내용은 Llama 70B 파인튜닝에 가장 좋은 GPU에서 확인하세요.

LoRA와 QLoRA 중 무엇을 써야 하나요?

메모리가 제한적일 때는 QLoRA를 쓰세요. 베이스 모델을 4-bit로 로드하며 LoRA 대비 메모리를 대략 3분의 1로 줄입니다. GPU에 여유가 있을 때는 LoRA를 쓰세요. 베이스가 BF16으로 유지됩니다. 두 어댑터를 여러분의 평가 세트에서 직접 비교해 보세요.

Llama 파인튜닝은 얼마나 걸리나요?

학습 토큰 수, 시퀀스 길이, 배치 크기에 따라 다르고 저희는 실행 시간을 측정하지 않았으므로 시간을 제시하지 않습니다. 긴 실행 전에 시간당 스텝 수를 측정하기에는 10시간 블록이면 충분합니다.

GPU를 암호화폐로 결제할 수 있나요?

네. GPUwithCrypto는 US$1 충전에서 BTC, USDT, USDC, ETH, SOL, LTC, XMR로 결제할 수 있으며, 신분증도 카드도 필요 없습니다. 인스턴스는 실행되는 동안 시간당 요금으로 분 단위 과금되며, 해당 GPU에 구매해 둔 GPU-시간에서 차감됩니다. 인스턴스를 중지하면 즉시 과금이 멈춥니다.

출처 (12)
  1. TRL 명령줄 인터페이스 — Hugging Face (read 2026-10-29)
  2. TRL PEFT 통합 (LoRA, QLoRA, 어댑터 저장) — Hugging Face (read 2026-10-29)
  3. Hugging Face CLI 가이드 (hf auth login, hf upload) — Hugging Face (read 2026-10-29)
  4. Trainer 및 TrainingArguments — Hugging Face (read 2026-10-29)
  5. Llama 3.1 8B 모델 카드 — Meta / Hugging Face (read 2026-10-29)
  6. Llama 3.1 70B 모델 카드 — Meta / Hugging Face (read 2026-10-29)
  7. The Llama 3 Herd of Models (Table 3) — arXiv (read 2026-10-29)
  8. QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
  9. LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
  10. vLLM 레시피 (LoRA 서빙 플래그) — vLLM project (read 2026-10-29)
  11. SaladCloud 가격 변경, 2026년 11월 blog.salad.com/saladcloud-price-changes-november-2026 — Salad (read 2026-10-29)
  12. Massed Compute 요금 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)

H100 $2.32/시간부터 · KYC 없이

GPU 대여하기