빠른 답변
Llama 70B 파인튜닝에 가장 좋은 GPU는 무엇인가요?
Llama 70B 파인튜닝에 가장 좋은 GPU는 방법에 따라 다릅니다. QLoRA는 약 52.5 GB가 필요하므로 80 GB A100 또는 H100 한 장입니다. BF16 기반 모델의 LoRA는 약 168 GB가 필요하므로 180 GB B200 한 장 또는 H200 두 장입니다. Full 파인튜닝은 활성화 메모리를 제외하고도 1,120~1,260 GB가 필요하므로 B200 여덟 장입니다. 2026년 10월 29일 기준, GPUwithCrypto은 A100 80GB를 시간당 $0.92에 임대하며 암호화폐로 결제합니다.
방법별로 어떤 GPU를 써야 하나요?
| QLoRA (4-bit 기반) | ≈ 52.5 GB → 1× A100 80GB (시간당 $0.92) 또는 1× H100 ($2.32/시간) |
|---|---|
| LoRA (BF16 기반) | 최소 140 GB, 계획 시 ≈ 168 GB → 1× B200 (시간당 $4.61) 또는 2× H200 ($6.14/시간) |
| Full 파인튜닝, 8-bit Adam | ≈ 840 GB → 8× H200 ($24.56/시간) |
| Full 파인튜닝, AdamW | 1,120–1,260 GB → 8× B200 ($36.88/시간) |
| 너무 부족함 | 48 GB L40S 한 장은 QLoRA 추정치 52.5 GB에 미달합니다. 다만 QLoRA 저자들은 48 GB GPU 한 장에 65B 모델을 실제로 올렸습니다 |
방법마다 70B 모델에 얼마나 많은 메모리가 필요한가요?
- QLoRA: 기반 모델은 4-bit로 로드되어 고정되고, 작은 어댑터만 학습합니다. QLoRA 논문은 48 GB GPU 한 장에서 65B 모델을 파인튜닝했습니다: 48 ÷ 65 = 파라미터 10억 개당 0.74 GB이며 0.75로 반올림합니다. 70B의 경우: 70 × 0.75 = 52.5 GB.
- LoRA: 기반은 BF16으로 고정된 채 유지됩니다: 70 × 2 bytes = 140 GB. 어댑터와 그 옵티마이저가 약 1%를 더합니다. 여기에 20% 계획 여유를 두면 140 × 1.2 = 168 GB.
- Full 파인튜닝, AdamW를 쓰는 혼합 정밀도: EleutherAI는 파라미터당 2 + 12 + 2 = 16 bytes로 계산합니다(가중치, FP32 복사본을 포함한 옵티마이저, 그래디언트): 70 × 16 = 1,120 GB. Hugging Face는 6 + 8 + 4 = 18 bytes로 계산합니다: 1,260 GB. 활성화 메모리는 여기에 추가됩니다.
- 8-bit Adam을 쓰는 Full 파인튜닝: Hugging Face는 8-bit 옵티마이저 상태를 8 bytes 대신 2 bytes로 보므로 6 + 2 + 4 = 12 bytes입니다: 70 × 12 = 840 GB.
이는 인용한 출처의 계획 규칙이며 실측값이 아닙니다. 시퀀스 길이와 배치 크기가 활성화 메모리를 바꾸고, gradient checkpointing은 이를 줄입니다. 다른 모델 크기에 같은 규칙 적용: VRAM은 얼마나 필요한가요?
방법마다 GPU가 몇 장 필요한가요?
✓ = 해당 구성의 합산 VRAM이 그 방법의 추정치를 감당함. 멀티 GPU 행은 모델이 GPU에 걸쳐 분할된다고(FSDP 또는 DeepSpeed ZeRO-3) 가정합니다. 아래 시간당 가격은 2026년 10월 29일 기준 전체 구성 가격입니다.
| 구성 | 총 VRAM | QLoRA (52.5 GB) | LoRA (168 GB) | Full, 8-bit Adam (840 GB) | Full, AdamW (1,260 GB) | 시간당 GPUwithCrypto |
|---|---|---|---|---|---|---|
| 1× L40S | 48 GB | ✗ | ✗ | ✗ | ✗ | 시간당 $0.82 |
| 1× A100 80GB | 80 GB | ✓ | ✗ | ✗ | ✗ | 시간당 $0.92 |
| 1× H100 | 80 GB | ✓ | ✗ | ✗ | ✗ | $2.32/시간 |
| 1× H200 | 141 GB | ✓ | ✗ | ✗ | ✗ | 시간당 $3.07 |
| 1× B200 | 180 GB | ✓ | ✓ | ✗ | ✗ | 시간당 $4.61 |
| 2× H200 | 282 GB | ✓ | ✓ | ✗ | ✗ | $6.14/시간 |
| 4× A100 80GB | 320 GB | ✓ | ✓ | ✗ | ✗ | $3.68/시간 |
| 8× H100 | 640 GB | ✓ | ✓ | ✗ | ✗ | $18.56/시간 |
| 8× H200 | 1,128 GB | ✓ | ✓ | ✓ | ✗ | $24.56/시간 |
| 8× B200 | 1,440 GB | ✓ | ✓ | ✓ | ✓ | $36.88/시간 |
가격 확인일:
8× H200은 16바이트 추정치(1,120 GB)를 이론상 감당하지만 활성화에 8 GB만 남으므로 AdamW에는 ✗로 표시됩니다. 8× B200은 18바이트 추정 후 180 GB가 남습니다. 인스턴스는 호스트에 따라 GPU 1~8개를 가집니다. 시작하기 전에 대시보드에서 각 호스트의 국가, GPU 수, 폼 팩터(SXM 또는 PCIe), 인터커넥트를 확인할 수 있습니다.
Llama 70B 파인튜닝 실행 비용은 얼마인가요?
비용 = GPU 수 × 실제 소요 시간 × GPU 시간당 가격. 아래 시간은 예시를 위해 선택한 가정값이며 측정값이 아닙니다: 실행 시간은 학습 토큰 수, 시퀀스 길이, 배치 크기, 소프트웨어에 따라 달라집니다. 긴 실행을 계획하기 전에 짧은 실행으로 시간당 스텝 수를 직접 측정하세요. 가정한 시간은 당사의 10, 24, 168 GPU-시간 블록과 일치합니다. GPU-시간은 하나의 GPU 모델 기준으로 10, 24, 168, 720시간 블록 단위로 판매되며 시간당 요금은 동일합니다. 해당 GPU의 인스턴스는 이를 분 단위로 차감하며, 사용하지 않은 시간은 만료되지 않습니다. 모든 블록과 GPU는 GPU 가격에 나열되어 있습니다.
가정한 시간 기준 실행 비용 추정
| 방법 | 구성 | 가정한 시간(측정값 아님) | GPU-시간 | GPUwithCrypto 비용 |
|---|---|---|---|---|
| QLoRA | 1× A100 80GB | 10 | 10 | US$9.20 |
| QLoRA | 1× H100 | 10 | 10 | US$23.20 |
| LoRA | 1× B200 | 24 | 24 | US$110.64 |
| LoRA | 2× H200 | 12 | 24 | US$73.68 |
| Full, 8-bit Adam | 8× H200 | 21 | 168 | US$515.76 |
| Full, AdamW | 8× B200 | 21 | 168 | US$774.48 |
가격 확인일:
풀 파인튜닝은 QLoRA보다 비용이 얼마나 더 드나요?
하드웨어 시간당 약 40배 더 듭니다. GPUwithCrypto의 2026년 10월 29일 가격 확인에 따르면 8× B200 인스턴스의 최저 셀프서비스 온디맨드 가격은 시간당 $43.46였습니다(Massed Compute, GPU당 $5.4325). A100 80GB 한 장은 Thunder Compute에서 시간당 $1.09였습니다. 비율은 당사 가격에서도 동일합니다: $36.88/시간 대 시간당 $0.92.
이 격차 때문에 대부분의 70B 프로젝트는 QLoRA나 LoRA로 시작합니다. LoRA 논문은 테스트한 작업에서 학습 가능한 파라미터가 10,000배 적으면서도 풀 파인튜닝에 필적하는 결과를 보고합니다.
70B에서 QLoRA에는 H100이 나은가요, A100이 나은가요?
둘 다 80 GB에서 52.5 GB 추정치를 감당합니다. H100은 A100의 최대 BF16 Tensor 처리량보다 3.2배 높고(dense 기준 989.5 대 312 TFLOPS) 대역폭도 3,350 GB/s(SXM) 대 2,039 GB/s입니다. 이는 NVIDIA의 최대치 수치이며 실제 학습 속도는 소프트웨어에 따라 달라집니다. 당사 가격에서 A100은 시간당 $0.92, H100은 $2.32/시간입니다. 예산이 고정되어 있으면 A100, 마감이 중요하면 H100을 선택하세요. 더 보기: H100 vs A100.
각 방법은 어떤 소프트웨어로 실행하나요?
Hugging Face TRL은 한 명령으로 QLoRA와 LoRA를 실행합니다: QLoRA는 --load_in_4bit --use_peft, LoRA는 --use_peft만으로 실행합니다. 멀티 GPU LoRA와 풀 파인튜닝의 경우 TRL은 fsdp2, zero3(DeepSpeed ZeRO-3) 같은 바로 쓸 수 있는 Accelerate 프로필을 제공하며 --accelerate_config로 전달합니다. Hugging Face의 Llama 3.1 리포지토리는 게이트가 걸려 있습니다: 먼저 모델 페이지에서 Meta 라이선스에 동의하세요. 단계별 명령: 대여한 GPU에서 Llama 파인튜닝.
Llama 70B 파인튜닝 관련 질문
Llama 70B를 GPU 한 장으로 파인튜닝할 수 있나요?
네, 80 GB GPU에서 QLoRA로 가능합니다: 추정치는 52.5 GB입니다. BF16 베이스에서 LoRA도 GPU 한 장에 들어가지만 180 GB B200이어야 합니다. 풀 파인튜닝은 8비트 옵티마이저로 B200 8장 또는 H200 8장이 필요합니다.
Llama 70B를 RTX 4090으로 파인튜닝할 수 있나요?
아니요. 4비트라도 70B 가중치만 35 GB로 RTX 4090의 24 GB보다 큽니다. 당사가 대여하는 GPU 중 QLoRA 실행을 감당하는 가장 작은 GPU는 80 GB A100입니다.
LoRA로 Llama 70B를 파인튜닝하려면 VRAM이 얼마나 필요한가요?
고정된 BF16 가중치에 약 140 GB, 어댑터와 활성화를 위한 20% 여유를 더하면 약 168 GB입니다. B200 한 장(180 GB), H200 두 장(282 GB) 또는 80 GB GPU 네 장이면 감당합니다.
Llama 70B 파인튜닝은 얼마나 걸리나요?
데이터셋의 토큰 수, 시퀀스 길이, 배치 크기에 따라 다르며 당사는 실행을 측정한 적이 없으므로 소요 시간을 공개하지 않습니다. 10시간 블록으로 시작해 내 데이터에서 시간당 스텝 수를 측정한 뒤 전체 실행 규모를 정하세요.
GPU 비용을 암호화폐로 결제할 수 있나요?
네. GPUwithCrypto은 US$25 충전에서 BTC, USDT, USDC, ETH, SOL, LTC로 결제하며, 신분증도 카드도 필요 없습니다. 사용하지 않은 GPU-시간은 만료되지 않습니다.
출처 (12)
- QLoRA: Efficient Finetuning of Quantized LLMs — arXiv (read 2026-10-29)
- Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA — Hugging Face (read 2026-10-29)
- LoRA: Low-Rank Adaptation of Large Language Models — arXiv (read 2026-10-29)
- Transformer Math 101 — EleutherAI (read 2026-10-29)
- Model training anatomy (GPU memory) — Hugging Face (read 2026-10-29)
- Llama 3.1 70B 모델 카드 — Meta / Hugging Face (read 2026-10-29)
- TRL 명령줄 인터페이스 — Hugging Face (read 2026-10-29)
- TRL PEFT 통합 — Hugging Face (read 2026-10-29)
- NVIDIA A100 사양 — NVIDIA (read 2026-10-29)
- NVIDIA H100 사양 — NVIDIA (read 2026-10-29)
- Massed Compute 요금 vm.massedcompute.com/pricing — Massed Compute (read 2026-10-29)
- Thunder Compute 요금 thundercompute.com/pricing — Thunder Compute (read 2026-10-29)