LLM을 실행하거나 파인튜닝하는 데 VRAM은 얼마나 필요할까?

모델에 필요한 VRAM은 어떻게 계산하나요?

파라미터 수에 파라미터당 바이트 수를 곱한 뒤 20%를 더합니다. 예시, FP8의 Llama 3.1 70B: 700억 × 1 바이트 = 70 GB 가중치, 70 × 1.2 = 84 GB. 이는 80 GB H100 한 장보다 많고 141 GB H200 한 장보다 적으므로, 가장 작은 조합은 H200 한 장입니다. 어떤 GPU가 어떤 모델을 가성비 있게 가장 빠르게 서비스하는지: LLM 추론에 가장 좋은 GPU.

20%는 적당한 컨텍스트 길이와 배치 크기에서의 KV 캐시와 활성화를 감당합니다. 이 규칙과 파라미터당 바이트 수는 EleutherAI의 Transformer Math 101에서 나왔습니다. 이는 용량 산정 규칙일 뿐 보장은 아닙니다: 긴 프롬프트, 많은 동시 사용자, 프레임워크 오버헤드는 이를 초과하게 만듭니다. 카드 VRAM의 5% 이내에 드는 총량, 예를 들어 80 GB 카드에서 BF16의 Qwen2.5 32B(78 GB)는 짧은 프롬프트에서만 실행됩니다; 긴 프롬프트에는 한 단계 위를 선택하세요.

긴 컨텍스트는 VRAM을 얼마나 더 쓸까요?

긴 컨텍스트는 KV 캐시를 추가합니다. 레이어마다, KV 헤드마다, 토큰마다 두 개의 벡터(key와 value)가 필요합니다. Llama 3.1 70B(80개 레이어, 128개 값으로 이루어진 KV 헤드 8개, Llama 3 논문 기준)를 BF16으로 계산하면: 2 × 80 × 8 × 128 × 2 바이트 = 토큰당 327,680 바이트입니다. 따라서 128K 토큰 대화 하나(131,072 토큰)에는 42.9 GB가 필요합니다.

FP8 가중치에 이를 더하면 70 + 42.9 = 112.9 GB로, 여전히 H200 한 장입니다. 이런 대화를 동시에 네 개 처리하면 70 + 4 × 42.9 = 241.6 GB가 필요하므로 H200 두 장입니다. FP8 KV 캐시를 쓰면 캐시 수치가 절반이 됩니다. DeepSeek 모델은 어텐션 캐시를 압축하므로 이 공식이 적용되지 않습니다.

LLM을 파인튜닝하려면 VRAM이 얼마나 필요할까요?

전체 파인튜닝은 활성화 메모리를 제외하고 파라미터당 16~18 바이트가 필요합니다. EleutherAI는 가중치 2 바이트, 옵티마이저 상태 12 바이트(FP32 복사본 포함), 그래디언트 2 바이트로 계산하고, Hugging Face는 6 + 8 + 4 = 18로 계산합니다. LoRA는 베이스 모델을 고정하므로 BF16 베이스 기준 파라미터당 약 2 바이트가 필요합니다. LoRA 논문은 전체 파인튜닝 대비 GPU 메모리를 3배 줄였다고 보고합니다. LoRA에 적용하는 × 1.2 계획 여유분은 저희 자체 관례입니다. QLoRA는 베이스를 4비트로 로드합니다. 논문 저자들은 48 GB GPU 한 장으로 65B 모델을 파인튜닝했는데, 48 ÷ 65 = 파라미터 10억 개당 0.74 GB이며 0.75로 반올림했습니다. 70B 모델에 각 방법을 적용한 내용: Llama 70B 파인튜닝에 가장 좋은 GPU.

GPU 개수가 2, 4, 8로 건너뛰는 이유는 무엇인가요?

텐서 병렬화는 각 레이어의 어텐션 헤드를 GPU 전체에 균등하게 분배합니다. vLLM은 헤드 수가 GPU 수로 나누어떨어지지 않으면 시작하지 않습니다. Llama 3.1 70B는 어텐션 헤드가 64개라서 GPU 2, 4, 8개는 되고 3개는 안 됩니다. 80 GB H100 세 대(240 GB)는 이론상 168 GB 모델을 담지만 실제로 쓸 수 있는 구성은 아니고, 네 대라면 가능합니다. 인스턴스는 호스트에 따라 GPU 1~8개를 가집니다. 시작하기 전에 대시보드에서 각 호스트의 국가, GPU 수, 폼 팩터(SXM 또는 PCIe), 인터커넥트를 확인할 수 있습니다.

적합한 GPU는 시간당 비용이 얼마인가요?

정밀도만큼 비용을 크게 바꾸는 선택지는 없습니다. Llama 3.1 70B는 BF16에서는 B200 한 대가 필요하지만 4-bit에서는 L40S 한 대면 됩니다. 2026년 10월 29일 GPUwithCrypto의 가격 확인에 따르면 이 두 GPU의 셀프서비스 온디맨드 최저가는 시간당 $5.43과 $0.97였습니다. 4-bit를 쓰면 시간당 비용이 82% 줄어듭니다. 저희 가격에서는 두 구성이 시간당 $4.61과 시간당 $0.82입니다. 결제하기 전에 직접 사용하는 프롬프트로 4-bit 출력을 확인하세요. 모든 GPU와 시간 단위는 가격 페이지에 있습니다.