Llama 3 يحقق نجاح كبير في السوق
النموذج الحالي يقدم استجابات نصية فقط في الوقت الراهن على الرغم من ان شركة ميتا تقول ان هذه زيادة كبيرة مقارنة بالاصدار السابق اظهرت لاما 3 تنوع كبير في استجابتها للمطالبات وظهرت بعض حالات الرفض عندما لم تكن تمتلك الاجابة ولكن كانت قادرة على التفكير بشكل مفيد
شاهد ايضا :
تدعي شركة ميتا ان كل من اصدارات Llama 3 تتفوق على نماذج متشابهة من جوجل وانثروبيك في بعض اختبارات القياس مثل Gemma و Gemini و Mistral 7B و Claude 3
في معيار MMLU الذي يقيس عادة المعرفة العامة كان اداء النموذج الذي يحتوي على 8 مليارات معلمة من Meta افضل بكثير من Gemma 7B و Mistral 7B وبالمقابل كان النموذج الذي يحتوي على 70 مليار معلمة يتفوق قليل على Gemini Pro 15
يجب الاشارة الى ان الاختبارات القياسية للذكاء الاصطناعي ليست شاملة تماما على الرغم من انها مفيدة في تقدير قوة النموذج واشارت ميتا الى ان Llama حصلت على ثلاث علامات عالية من المقيمين البشريين مقارنة بالنماذج الاخرى بما في ذلك GPT-35 من OpenAI تقوم الشركة بانشاء مجموعة بيانات جديدة تستخدم لمحاكاة سيناريوهات استخدام Llama 3 في الواقع الحقيقي للبشر
تضمنت مجموعة البيانات هذه عدة حالات استخدام مثل طلب النصائح والتحليل والكتابة الابداعية اوضحت ميتا ان الفريق الذي عمل على انشاء النموذج لم يكن قادر على الوصول الى بيانات التقييم الجديدة لكن ذلك لم يؤثر على اداء النموذج
قالت ميتا “تحتوي مجموعة التقييم هذه على 1800 مهمة تغطي ما يصل الى 12 حالة استخدام رئيسية وتتضمن الطلبات للنصائح والعصف الذهني والتصنيف والاجابة عن الاسئلة ذات الاجابات المحددة والبرمجة والكتابة الابداعية والاستخلاص واقتباس الشخصية والاجابة عن الاسئلة ذات الاجابات المتعددة والاستدلال واعادة الكتابة والتلخيص”
من المتوقع ان يتم تحسين Llama 3 لتتمكن من استيعاب سلاسل طويلة من التعليمات والبيانات وتقديم استجابات متعددة الوسائط مثل تحويل الملفات الصوتية الى نصوص وانشاء صور تقول ميتا انها حاليا تدرب النماذج الكبيرة التي تحتوي على اكثر من 400 مليار معلمة والتي تستطيع تعلم انماط اكثر تعقيدا من النماذج الصغيرة الحجم