ต้องใช้ VRAM เท่าไรในการรันหรือ fine-tune LLM?

จะคำนวณ VRAM ที่โมเดลต้องใช้ได้อย่างไร?

นำจำนวนพารามิเตอร์คูณกับจำนวนไบต์ที่แต่ละพารามิเตอร์ใช้ แล้วบวก 20% ตัวอย่างการคำนวณ Llama 3.1 70B ใน FP8: 70 พันล้าน × 1 ไบต์ = น้ำหนักโมเดล 70 GB และ 70 × 1.2 = 84 GB ซึ่งมากกว่า H100 80 GB หนึ่งตัว และน้อยกว่า H200 141 GB หนึ่งตัว ดังนั้นตัวที่เล็กที่สุดที่รองรับได้คือ H200 หนึ่งตัว GPU ตัวไหนให้บริการโมเดลใดได้เร็วที่สุดเมื่อเทียบกับราคา: GPU ที่ดีที่สุดสำหรับ LLM inference

ค่า 20% ครอบคลุม KV cache และ activation ที่ความยาวบริบทและ batch size ระดับปานกลาง กฎและจำนวนไบต์ต่อพารามิเตอร์มาจาก Transformer Math 101 ของ EleutherAI เป็นกฎการประมาณขนาด ไม่ใช่การรับประกัน: พรอมต์ยาว ผู้ใช้พร้อมกันจำนวนมาก และ overhead ของเฟรมเวิร์กทำให้เกินกว่านี้ได้ ค่าที่ออกมาอยู่ภายใน 5% ของ VRAM การ์ด เช่น Qwen2.5 32B ใน BF16 (78 GB) บนการ์ด 80 GB จะรันได้เฉพาะกับพรอมต์สั้นเท่านั้น ใช้ขนาดที่ใหญ่ขึ้นถัดไปสำหรับพรอมต์ยาว

บริบทแบบยาวเพิ่ม VRAM ขึ้นเท่าไร?

บริบทแบบยาวเพิ่ม KV cache: เวกเตอร์สองตัว (key และ value) ต่อเลเยอร์ ต่อ KV head ต่อ token สำหรับ Llama 3.1 70B (80 เลเยอร์, 8 KV heads ขนาด 128 ค่า ตาม Llama 3 paper) ใน BF16: 2 × 80 × 8 × 128 × 2 ไบต์ = 327,680 ไบต์ต่อ token บทสนทนา 128K token หนึ่งครั้ง (131,072 token) จึงต้องใช้ 42.9 GB

บวกเข้ากับน้ำหนัก FP8: 70 + 42.9 = 112.9 GB ยังใช้ H200 ตัวเดียว บทสนทนาแบบนี้สี่รายการพร้อมกันต้องใช้ 70 + 4 × 42.9 = 241.6 GB จึงต้องใช้ H200 สองตัว KV cache แบบ FP8 ลดตัวเลข cache ลงครึ่งหนึ่ง โมเดล DeepSeek บีบอัด attention cache ของตัวเอง สูตรนี้จึงใช้กับโมเดลเหล่านี้ไม่ได้

ต้องใช้ VRAM เท่าไรในการ fine-tune LLM?

การ fine-tune แบบเต็มต้องใช้ 16 ถึง 18 ไบต์ต่อพารามิเตอร์ก่อนนับ activations EleutherAI นับน้ำหนัก 2 ไบต์, optimizer state 12 ไบต์ (รวมสำเนา FP32) และ gradient 2 ไบต์; Hugging Face นับ 6 + 8 + 4 = 18 LoRA แช่แข็งโมเดลฐาน จึงต้องใช้ประมาณ 2 ไบต์ต่อพารามิเตอร์สำหรับฐาน BF16; LoRA paper รายงานว่าลดหน่วยความจำ GPU ได้ 3 เท่าเมื่อเทียบกับการ fine-tune แบบเต็ม ระยะเผื่อ × 1.2 ในการวางแผนสำหรับ LoRA เป็นธรรมเนียมของเราเอง QLoRA โหลดฐานแบบ 4-bit: ผู้เขียน fine-tune โมเดล 65B บน GPU 48 GB ตัวเดียว 48 ÷ 65 = 0.74 GB ต่อพันล้านพารามิเตอร์ ปัดเป็น 0.75 แต่ละวิธีเมื่อใช้กับโมเดล 70B: GPU ที่ดีที่สุดสำหรับ fine-tune Llama 70B

ทำไมจำนวน GPU ถึงกระโดดจาก 2 เป็น 4 เป็น 8?

Tensor parallelism แบ่ง attention head ของทุกเลเยอร์เท่า ๆ กันในแต่ละ GPU vLLM จะไม่ยอมเริ่มทำงานเมื่อจำนวน head หารด้วยจำนวน GPU ไม่ลงตัว Llama 3.1 70B มี attention head 64 หัว ดังนั้น 2, 4 หรือ 8 GPU ใช้ได้ แต่ 3 ใช้ไม่ได้ H100 80 GB สามตัว (240 GB) รองรับโมเดล 168 GB ได้ในทางทฤษฎี แต่ไม่ใช่การจัดวางที่ใช้งานได้จริง สี่ตัวต่างหากที่ใช้ได้ อินสแตนซ์มี 1 ถึง 8 GPU ขึ้นอยู่กับโฮสต์ ก่อนเริ่ม แดชบอร์ดจะแสดงประเทศของแต่ละโฮสต์ จำนวน GPU รูปแบบ (SXM หรือ PCIe) และ interconnect

GPU ที่เหมาะสมราคาเท่าไรต่อชั่วโมง?

ความแม่นยำเปลี่ยนค่าใช้จ่ายมากกว่าตัวเลือกอื่นใด Llama 3.1 70B ต้องใช้ B200 หนึ่งตัวใน BF16 แต่ใช้ L40S หนึ่งตัวใน 4-bit ตามการตรวจสอบราคาของ GPUwithCrypto เมื่อวันที่ 29 ตุลาคม 2026 ราคา on-demand แบบ self-serve ที่ต่ำที่สุดสำหรับ GPU สองรุ่นนั้นคือ $5.43 และ $0.97 ต่อชั่วโมง: 4-bit ลดค่าใช้จ่ายต่อชั่วโมงได้ 82% ที่ราคาของเรา ทั้งคู่มีค่าใช้จ่าย $4.61/ชั่วโมง และ $0.82/ชั่วโมง ตรวจสอบผลลัพธ์แบบ 4-bit กับ prompt ของคุณเองก่อนตัดสินใจ ทุก GPU และทุกบล็อกชั่วโมงอยู่ในหน้าราคา