Gemma 4 على llama.cpp أخيرًا مستقر

في 2 أبريل أطلقت Google Gemma 4، وكان هناك دعم لـ llama.cpp في اليوم الأول لكن مع العديد من الأخطاء. الآن تم إصلاح جميع المشاكل
E2B، E4B، 26B MoE، 31B Dense
31B يحتل المركز الثالث في تصنيف Arena AI، و26B في المركز السادس
أقوى فئة للنماذج المفتوحة المصدر
استخدم --chat-template-file لتحميل القالب المتداخل
نصحت بفتح --cache-ram 2048
طول السياق يعتمد على ذاكرة الفيديو
أفضل نسخة محلية العام الماضي كانت Llama 3.1 70B المكممة، وكانت قابلة للاستخدام بصعوبة
الآن Gemma 4 31B Q5 تعمل بسلاسة على Mac Studio، وتقارب مستوى GPT-4
تبدأ تطبيقات الذكاء الاصطناعي غير المعتمدة على API في أن تكون ذات جدوى تجارية. البيانات لا تخرج من الجهاز، والتكلفة صفر، والكمون منخفض جدًا
بالنسبة لشركة فردية، النموذج المحلي هو البنية التحتية الحقيقية. المنافسون يدفعون رسوم API، وتكلفتك الحدية هي فاتورة الكهرباء
Gemma 4 + llama.cpp = الحل الأمثل للاستدلال المحلي، ويمكن أن يدخل الإنتاج