# LLM을 실행하거나 파인튜닝하는 데 VRAM은 얼마나 필요할까?

> LLM에 VRAM은 얼마나 필요할까? 파라미터 × 바이트 + 20%: 70B 모델은 FP16에서 168 GB, FP8에서 84 GB가 필요합니다. 적합성 표와 암호화폐 가격, 2026년 10월.

- URL: https://gpuwithcrypto.com/ko/how-much-vram-do-i-need/
- 최종 업데이트: 2026-10-29
- 발행자: GPUwithCrypto (https://gpuwithcrypto.com)

공식, 7B에서 1.6T 파라미터까지의 오픈 모델에 대한 계산, 그리고 각 모델을 담을 수 있는 가장 작은 GPU 조합과 시간당 가격입니다.

**빠른 답변 — LLM을 실행하거나 파인튜닝하는 데 VRAM은 얼마나 필요할까?**

필요한 VRAM은 모델의 파라미터 수 × 파라미터당 바이트 수에 KV 캐시와 활성화를 위한 약 20%를 더한 값입니다: FP16/BF16에서 10억 파라미터당 2.4 GB, FP8에서 1.2 GB, 4-bit에서 0.6 GB입니다. 70B 모델은 약 168 GB, 84 GB, 또는 42 GB가 필요합니다. 2026년 10월 29일 기준, **GPUwithCrypto**은 맞는 GPU를 임대하며, 시간당 $0.28의 RTX 4090부터 시간당 $3.07의 H200까지 암호화폐로 결제할 수 있습니다.

## 공식은 무엇인가요?

| 속성 | 값 |
| --- | --- |
| 가중치 | 파라미터 수(십억) × 파라미터당 바이트 수 = GB |
| 파라미터당 바이트 수 | FP16 / BF16 = 2 · FP8 / INT8 = 1 · 4-bit = 0.5 |
| 모델 실행 | 가중치 × 1.2. EleutherAI는 추론을 위한 추가 메모리를 가중치의 20% 이내로 봅니다 |
| 긴 컨텍스트 | KV 캐시 추가: 2 × 레이어 수 × KV 헤드 수 × 헤드 크기 × 값당 바이트 수 × 토큰 수 |
| 전체 파인튜닝 | 파라미터당 16~18 바이트(가중치, 그래디언트, AdamW 상태), 활성화는 별도 |
| LoRA | 고정된 BF16 베이스에 파라미터당 2 바이트, × 1.2로 계획 |
| QLoRA | 10억 파라미터당 약 0.75 GB(4-bit 베이스 + 어댑터) |

## 모델에 필요한 VRAM은 어떻게 계산하나요?

파라미터 수에 파라미터당 바이트 수를 곱한 뒤 20%를 더합니다. 예시, FP8의 Llama 3.1 70B: 700억 × 1 바이트 = 70 GB 가중치, 70 × 1.2 = 84 GB. 이는 80 GB H100 한 장보다 많고 141 GB H200 한 장보다 적으므로, 가장 작은 조합은 H200 한 장입니다. 어떤 GPU가 어떤 모델을 가성비 있게 가장 빠르게 서비스하는지: [LLM 추론에 가장 좋은 GPU](https://gpuwithcrypto.com/ko/best-gpu-for/llm-inference/ "LLM 추론에 가장 좋은 GPU는 무엇인가요?").

20%는 적당한 컨텍스트 길이와 배치 크기에서의 KV 캐시와 활성화를 감당합니다. 이 규칙과 파라미터당 바이트 수는 EleutherAI의 *Transformer Math 101*에서 나왔습니다. 이는 용량 산정 규칙일 뿐 보장은 아닙니다: 긴 프롬프트, 많은 동시 사용자, 프레임워크 오버헤드는 이를 초과하게 만듭니다. 카드 VRAM의 5% 이내에 드는 총량, 예를 들어 80 GB 카드에서 BF16의 Qwen2.5 32B(78 GB)는 짧은 프롬프트에서만 실행됩니다; 긴 프롬프트에는 한 단계 위를 선택하세요.

## 각 모델에는 VRAM이 얼마나 필요하고, 어떤 GPU가 맞나요?

각 셀: 가중치 × 1.2 → 저희 GPU에서 가장 작은 조합 → 시간당 가격. 가장 작은 조합 = 합산 VRAM이 총량을 담는 최소 GPU 수(1, 2, 4 또는 8장), 그중 2026년 10월 29일 저희 가격 기준 가장 저렴한 것. 파라미터 수는 공식 모델 카드 기준입니다.

| 모델 (파라미터) | FP16 / BF16 | FP8 / INT8 | 4-bit |
| --- | --- | --- | --- |
| Mistral 7B (7.3B) | **17.5 GB** → 1× RTX 4090 · 시간당 $0.28 | **8.8 GB** → 1× RTX 4090 · 시간당 $0.28 | **4.4 GB** → 1× RTX 4090 · 시간당 $0.28 |
| Llama 3.1 8B (8B) | **19.2 GB** → 1× RTX 4090 · 시간당 $0.28 | **9.6 GB** → 1× RTX 4090 · 시간당 $0.28 | **4.8 GB** → 1× RTX 4090 · 시간당 $0.28 |
| Qwen2.5 32B (32.5B) | **78.0 GB** → 1× A100 80GB · 시간당 $0.92 | **39.0 GB** → 1× L40S · 시간당 $0.82 | **19.5 GB** → 1× RTX 4090 · 시간당 $0.28 |
| Llama 3.1 70B (70B) | **168 GB** → 1× B200 · 시간당 $4.61 | **84 GB** → 1× H200 · 시간당 $3.07 | **42 GB** → 1× L40S · 시간당 $0.82 |
| Qwen2.5 72B (72.7B) | **174.5 GB** → 1× B200 · 시간당 $4.61 | **87.2 GB** → 1× H200 · 시간당 $3.07 | **43.6 GB** → 1× L40S · 시간당 $0.82 |
| Llama 3.1 405B (405B) | **972 GB** → 8× H200 · $24.56/시간 | **486 GB** → 4× H200 · $12.28/시간 | **243 GB** → 2× H200 · $6.14/시간 |

*가격 확인일: 2026년 10월 29일.*

계산: BF16 기준 70B = 70 × 2 = 140 GB, × 1.2 = 168 GB. A100에는 FP8 Tensor Cores가 없으므로 FP8 항목은 Ada, Hopper 또는 Blackwell GPU를 가리킵니다. GPU 크기: RTX 4090 24 GB, RTX 5090 32 GB, L40S 48 GB, A100와 H100 80 GB, H200 141 GB, B200 180 GB.

## 이미 양자화된 상태로 공개된 모델은 VRAM이 얼마나 필요할까요?

일부 모델은 자체적인 압축 포맷으로 배포되기 때문에, 가중치를 계산하지 않고 Hugging Face에서 직접 측정합니다. Mixture-of-experts(MoE) 모델은 토큰마다 일부 expert만 활성화합니다. 이는 연산량을 줄일 뿐 메모리는 줄이지 않는데, 모든 expert가 VRAM에 올라가야 하기 때문입니다.

| 모델 | 전체 / 활성 파라미터 | 공개된 가중치 | × 1.2 | 최소 사양 | 시간당 GPUwithCrypto |
| --- | --- | --- | --- | --- | --- |
| gpt-oss-120b | 117B / 5.1B | 65.3 GB (MXFP4 MoE 가중치) | 78.3 GB | 1× H100 80GB (해당 카드: "a single 80GB GPU") | $2.32/시간 |
| DeepSeek-V3 / R1 | 671B / 37B | 671 GB (FP8) | 805 GB | 8× H200 (1,128 GB) | $24.56/시간 |
| DeepSeek V4 Flash | 284B / 13B | 159.6 GB (FP4 experts + FP8) | 191.5 GB | 2× H200 (282 GB) | $6.14/시간 |
| DeepSeek V4 Pro | 1.6T / 49B | 864.7 GB (FP4 experts + FP8) | 1,037.6 GB | 8× H200 (1,128 GB) | $24.56/시간 |

*가격 확인일: 2026년 10월 29일.*

V4 가중치 = 각 deepseek-ai 리포지터리에 있는 safetensors 파일의 전체 크기, 2026년 10월 29일 기준. 서빙 엔진은 V4 Flash용으로 더 큰 구성도 문서화합니다(SGLang의 cookbook에서 4× H200): [DeepSeek V4 가이드](https://gpuwithcrypto.com/ko/guides/run-deepseek-v4-on-cloud-gpu/ "클라우드 GPU에서 DeepSeek V4를 어떻게 실행하나요?")를 참고하세요.

## 긴 컨텍스트는 VRAM을 얼마나 더 쓸까요?

긴 컨텍스트는 KV 캐시를 추가합니다. 레이어마다, KV 헤드마다, 토큰마다 두 개의 벡터(key와 value)가 필요합니다. Llama 3.1 70B(80개 레이어, 128개 값으로 이루어진 KV 헤드 8개, Llama 3 논문 기준)를 BF16으로 계산하면: 2 × 80 × 8 × 128 × 2 바이트 = 토큰당 327,680 바이트입니다. 따라서 128K 토큰 대화 하나(131,072 토큰)에는 42.9 GB가 필요합니다.

FP8 가중치에 이를 더하면 70 + 42.9 = 112.9 GB로, 여전히 H200 한 장입니다. 이런 대화를 동시에 네 개 처리하면 70 + 4 × 42.9 = 241.6 GB가 필요하므로 H200 두 장입니다. FP8 KV 캐시를 쓰면 캐시 수치가 절반이 됩니다. DeepSeek 모델은 어텐션 캐시를 압축하므로 이 공식이 적용되지 않습니다.

### 대화 하나당 KV 캐시는 얼마인가요(BF16)?

| 모델 | 토큰당 | 8K 토큰 | 32K 토큰 | 128K 토큰 |
| --- | --- | --- | --- | --- |
| Llama 3.1 8B | 128 KiB | 1.1 GB | 4.3 GB | 17.2 GB |
| Llama 3.1 70B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Qwen2.5 72B | 320 KiB | 2.7 GB | 10.7 GB | 42.9 GB |
| Llama 3.1 405B | 504 KiB | 4.2 GB | 16.9 GB | 67.6 GB |

## LLM을 파인튜닝하려면 VRAM이 얼마나 필요할까요?

전체 파인튜닝은 활성화 메모리를 제외하고 파라미터당 16~18 바이트가 필요합니다. EleutherAI는 가중치 2 바이트, 옵티마이저 상태 12 바이트(FP32 복사본 포함), 그래디언트 2 바이트로 계산하고, Hugging Face는 6 + 8 + 4 = 18로 계산합니다. LoRA는 베이스 모델을 고정하므로 BF16 베이스 기준 파라미터당 약 2 바이트가 필요합니다. LoRA 논문은 전체 파인튜닝 대비 GPU 메모리를 3배 줄였다고 보고합니다. LoRA에 적용하는 × 1.2 계획 여유분은 저희 자체 관례입니다. QLoRA는 베이스를 4비트로 로드합니다. 논문 저자들은 48 GB GPU 한 장으로 65B 모델을 파인튜닝했는데, 48 ÷ 65 = 파라미터 10억 개당 0.74 GB이며 0.75로 반올림했습니다. 70B 모델에 각 방법을 적용한 내용: [Llama 70B 파인튜닝에 가장 좋은 GPU](https://gpuwithcrypto.com/ko/best-gpu-for/fine-tuning-llama-70b/ "Llama 70B 파인튜닝(LoRA, QLoRA, full)에 가장 좋은 GPU는 무엇인가요?").

### 각 파인튜닝 방법에는 어떤 GPU가 맞나요?

위 규칙에 따른 메모리 → 저희 GPU 중 가장 작은 구성 → 시간당 가격(2026년 10월 29일). 활성화 메모리는 별도로 추가되며, gradient checkpointing으로 줄일 수 있습니다.

| 모델 | 전체 파인튜닝(파라미터당 16~18 B) | LoRA(BF16 베이스 × 1.2) | QLoRA (파라미터 10억 개당 0.75 GB) |
| --- | --- | --- | --- |
| Llama 3.1 8B | 128–144 GB → 1× B200 · 시간당 $4.61 | 19.2 GB → 1× RTX 4090 · 시간당 $0.28 | 6 GB → 1× RTX 4090 · 시간당 $0.28 |
| Qwen2.5 32B | 520–585 GB → 4× B200 · 시간당 $18.44 | 78 GB → 1× A100 80GB · 시간당 $0.92 | 24.4 GB → 1× RTX 5090 · 시간당 $0.42 |
| Llama 3.1 70B | 1,120–1,260 GB → 8× B200 · 시간당 $36.88 | 168 GB → 1× B200 · 시간당 $4.61 | 52.5 GB → 1× A100 80GB · 시간당 $0.92 |
| Llama 3.1 405B | 6,480–7,290 GB → 8-GPU 호스트 한 대로는 부족 | 972 GB → 8× H200 · 시간당 $24.56 | 304 GB → 2× B200 · 시간당 $9.22 |
| FLUX.1 [dev] (12B) | 192–216 GB → 2× H200 · 시간당 $6.14 | 28.8 GB → 1× RTX 5090 · 시간당 $0.42 | 9 GB → 1× RTX 4090 · 시간당 $0.28 |

*가격 확인일: 2026년 10월 29일.*

## GPU 개수가 2, 4, 8로 건너뛰는 이유는 무엇인가요?

텐서 병렬화는 각 레이어의 어텐션 헤드를 GPU 전체에 균등하게 분배합니다. vLLM은 헤드 수가 GPU 수로 나누어떨어지지 않으면 시작하지 않습니다. Llama 3.1 70B는 어텐션 헤드가 64개라서 GPU 2, 4, 8개는 되고 3개는 안 됩니다. 80 GB H100 세 대(240 GB)는 이론상 168 GB 모델을 담지만 실제로 쓸 수 있는 구성은 아니고, 네 대라면 가능합니다. 인스턴스는 호스트에 따라 GPU 1~8개를 가집니다. 시작하기 전에 대시보드에서 각 호스트의 국가, GPU 수, 폼 팩터(SXM 또는 PCIe), 인터커넥트를 확인할 수 있습니다.

## 적합한 GPU는 시간당 비용이 얼마인가요?

정밀도만큼 비용을 크게 바꾸는 선택지는 없습니다. Llama 3.1 70B는 BF16에서는 B200 한 대가 필요하지만 4-bit에서는 L40S 한 대면 됩니다. 2026년 10월 29일 GPUwithCrypto의 가격 확인에 따르면 이 두 GPU의 셀프서비스 온디맨드 최저가는 시간당 $5.43과 $0.97였습니다. 4-bit를 쓰면 시간당 비용이 82% 줄어듭니다. 저희 가격에서는 두 구성이 시간당 $4.61과 시간당 $0.82입니다. 결제하기 전에 직접 사용하는 프롬프트로 4-bit 출력을 확인하세요. 모든 GPU와 시간 단위는 [가격 페이지](https://gpuwithcrypto.com/ko/pricing/ "GPUwithCrypto에서 클라우드 GPU는 시간당 얼마인가요?")에 있습니다.

## VRAM 관련 질문

### 70B 모델을 돌리려면 VRAM이 얼마나 필요한가요?

20% 오버헤드 규칙을 적용하면 FP16/BF16에서 약 168 GB, FP8에서 84 GB, 4-bit에서 42 GB입니다. 즉 B200 한 대, H200 한 대 또는 48 GB L40S 한 대면 됩니다. Llama 3.1 70B에서 128K 토큰 대화는 BF16 KV 캐시 42.9 GB를 추가로 차지합니다.

### 7B 모델을 파인튜닝하려면 VRAM이 얼마나 필요한가요?

7B 모델의 전체 파인튜닝은 활성화 이전에 112~126 GB가 필요합니다(파라미터당 16~18바이트). LoRA는 약 16.8 GB(7 × 2 × 1.2), QLoRA는 약 5.3 GB(7 × 0.75)이므로 둘 다 24 GB RTX 4090에 들어갑니다.

### LoRA를 학습하려면 VRAM이 얼마나 필요한가요?

LLM의 경우 BF16 기반이면 파라미터 10억 개당 약 2.4 GB, 4-bit 기반(QLoRA)이면 0.75 GB입니다. tranformer에 12B 파라미터가 있는 FLUX.1 [dev]라면 LoRA에 약 28.8 GB(RTX 5090 한 대), QLoRA에 9 GB가 필요합니다.

### DeepSeek V4 Flash와 V4 Pro는 VRAM이 얼마나 필요한가요?

Hugging Face에 공개된 가중치는 각각 159.6 GB(Flash, 284B 파라미터)와 864.7 GB(Pro, 1.6T)입니다. 20% 오버헤드를 더하면 191.5 GB와 1,037.6 GB로, 최소 H200 두 대와 H200 여덟 대가 필요합니다. 명령어는 [DeepSeek V4 가이드](https://gpuwithcrypto.com/ko/guides/run-deepseek-v4-on-cloud-gpu/ "클라우드 GPU에서 DeepSeek V4를 어떻게 실행하나요?")에 있습니다.

### RTX 4090 한 대로 70B 모델을 돌릴 수 있나요?

VRAM에 전부 올릴 수는 없습니다. 4-bit에서도 가중치가 35 GB라 24 GB를 넘습니다. 레이어를 시스템 RAM으로 오프로드하는 도구로는 돌아가지만, 토큰을 하나 만들 때마다 PCIe를 통한 전송을 기다려야 합니다. 48 GB L40S 한 대면 4-bit로 담깁니다.

### GPU를 암호화폐로 결제할 수 있나요?

네. GPUwithCrypto는 US$1 충전에서 BTC, USDT, USDC, ETH, SOL, LTC, XMR로 결제할 수 있으며, 신분증도 카드도 필요 없습니다. 인스턴스는 실행되는 동안 시간당 요금으로 분 단위 과금되며, 해당 GPU에 구매해 둔 GPU-시간에서 차감됩니다. 인스턴스를 중지하면 즉시 과금이 멈춥니다.

## 출처

1. [Transformer Math 101](https://blog.eleuther.ai/transformer-math/) — EleutherAI (read 2026-10-29)
2. [Model training anatomy (GPU memory)](https://huggingface.co/docs/transformers/model_memory_anatomy) — Hugging Face (read 2026-10-29)
3. [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685) — arXiv (read 2026-10-29)
4. [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) — arXiv (read 2026-10-29)
5. [The Llama 3 Herd of Models (Table 3)](https://arxiv.org/abs/2407.21783) — arXiv (read 2026-10-29)
6. [Llama 3.1 70B 모델 카드](https://huggingface.co/meta-llama/Llama-3.1-70B) — Meta / Hugging Face (read 2026-10-29)
7. [Mistral 7B 공개](https://mistral.ai/news/announcing-mistral-7b) — Mistral AI (read 2026-10-29)
8. [Qwen2.5-32B-Instruct 모델 카드](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
9. [Qwen2.5-72B-Instruct 모델 카드](https://huggingface.co/Qwen/Qwen2.5-72B-Instruct) — Qwen / Hugging Face (read 2026-10-29)
10. [gpt-oss-120b 모델 카드](https://huggingface.co/openai/gpt-oss-120b) — OpenAI / Hugging Face (read 2026-10-29)
11. [DeepSeek-V3 모델 카드](https://huggingface.co/deepseek-ai/DeepSeek-V3) — DeepSeek / Hugging Face (read 2026-10-29)
12. [DeepSeek-V4-Flash 모델 카드 및 파일](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) — DeepSeek / Hugging Face (read 2026-10-29)
13. [DeepSeek-V4-Pro 모델 카드 및 파일](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) — DeepSeek / Hugging Face (read 2026-10-29)
14. [어텐션 헤드 수는 텐서 병렬 크기로 나누어떨어져야 함(논의 #1041)](https://github.com/vllm-project/vllm/discussions/1041) — vLLM project (read 2026-10-29)
15. [NVIDIA H200 사양](https://www.nvidia.com/en-us/data-center/h200/) — NVIDIA (read 2026-10-29)

---

GPUwithCrypto: GPUwithCrypto는 클라우드 GPU(NVIDIA H100, H200, B200, A100, L40S, RTX 4090, RTX 5090)를 분 단위로 임대하며, KYC 없이 암호화폐로 결제합니다. 각 GPU 가격은 2026년 10월 29일 기준으로 확인된 특정 온디맨드 참조 가격보다 최소 15% 낮게 책정됩니다.