هوش مصنوعی چطوری مدل 7B پارامتری روی ۸ گیگ VRAM اجرا می‌شه؟

[اقیــانــــــوساقیــانــــــوس عضو تأیید شده است.]

چطوری مدل 7B پارامتری روی ۸ گیگ VRAM اجرا می‌شه؟
جواب: Quantization

مدل ۷ میلیارد پارامتری با FP32 حدود ۲۸GB حافظه می‌خواد؛ اما با تبدیل وزن‌ها به ۴ بیت (Q4) حجمش تقریباً به ۴GB می‌رسه برای همین مدل‌هایی مثل:​

Q4_K_M، Q5، Q8_0​

نسخه‌های کم‌حجم‌تر همون مدل هستن.​

Q4: کم‌حجم و سریع، مناسب اکثر کارهای روزمره
Q8: کیفیت نزدیک‌تر به نسخه اصلی، ولی مصرف حافظه بیشتر​

اگر مدل کامل داخل VRAM جا نشه، بخشی روی RAM/CPU می‌ره (Offloading) و سرعت می‌تونه به‌شدت کاهش پیدا کنه. پس قبل از دانلود مدل محلی، اول VRAM کارت گرافیکت رو ببین و بعد مناسب‌ترین Quantization رو انتخاب کن.​