أصدرت Meta نموذجين أصغر حجمًا مدعومين بـ Llama 3 اليوم. يحتوي أحدهما على 8 مليار معلمة وسجل 82 درجة MMLU – وهو مقياس صناعي لقياس قوة النموذج.
وكشف LeCun أن الإصدارات الأكبر، بما في ذلك الإصدار الذي يحتوي على 400 مليار معلمة، قيد التطوير حاليًا. ويتوقع أن تكون هذه النماذج الأكبر حجمًا أكثر قوة بينما تدعم المزيد من اللغات والطرائق.
ما هو نموذج ميتا لاما 3؟
أصدرت Meta نموذج Llama 3 الخاص بها كعرض توليدي للذكاء الاصطناعي. لقد وصفته Meta بأنه أفضل نموذج مفتوح المصدر متاح وتدعي أنه يتفوق على أي نماذج ذكاء اصطناعي توليدية أخرى متاحة اليوم. يمكن لـ Llama 3 إنشاء صور ونصوص ويمكن تدريبه خصيصًا على مجال أو حالة استخدام؛ ويمكن أيضًا توقع أداء أسرع وأكثر كفاءة من سابقتها، Llama 2.
وفقًا للشركة، يضم Llama 3 عددًا يبلغ 8 مليارات أو 70 مليار معلمة ويمكنه دعم إنشاء اللغة والتصنيف واستخراج المعلومات والإجابة على الأسئلة المستندة إلى المحتوى والبحث والتطوير بالإضافة إلى الإجابة على الأسئلة المستندة إلى المحتوى. ويمكن الآن تنزيله للاستخدام من Databricks وAmazon Web Services وGoogle Cloud Platform وMicrosoft Azure.
تفوقت Llama 3 على سابقتها في العديد من المعايير، وفقًا لمبدعيها، وفقًا لتقارير شركتهم. تم تدريب هذا النموذج على مجموعة بيانات أكبر سبع مرات من تلك المستخدمة مع Llama 2، ويمكنه إنتاج استجابات أكثر دقة في مجالات مثل الذكاء الاصطناعي للمحادثة وتوليد اللغة الطبيعية مقارنة بسابقه Llama 2، بالإضافة إلى التنافس ضد نماذج الذكاء الاصطناعي التوليدية الرائدة مثل OpenAI’s GPT- 3.5 ونماذج Google Gemini 1.5 Pro – حسب رأيهم!
تخطط Meta لإصدار متغيرات أكثر تقدمًا من Llama 3 بمرور الوقت، بما في ذلك تلك القادرة على إنشاء كل من الصور وإخراج النص والمزيد. وذكرت الشركة أن هذه النماذج اللاحقة من المفترض أن تسمح لـ Meta بمعالجة الاستفسارات الأكثر تعقيدًا مع تطوير خطط متعددة الخطوات بشكل أكثر فعالية.
ستكون هذه المتغيرات على أحدث طراز؛ ومع ذلك، يتم أيضًا إصدار خيارات الضبط من Colab Enterprise حتى يتمكن المستخدمون من تخصيص هذه النماذج وتحسينها باستخدام بياناتهم الخاصة. إنه مشابه لكيفية تحسين Llama 2 وGuard 2 باستخدام البيانات الخاصة بالمجال للتخصيص؛ وبالتالي إنشاء إصدارات فريدة من نوعها.
يُظهر نهج Meta في إطلاق نماذج Llama 3 الصغيرة والكبيرة بانتظام التزامها بالحفاظ على ريادتها في الذكاء الاصطناعي التوليدي مفتوح المصدر. بالإضافة إلى ذلك، تؤكد هذه الإستراتيجية قيمتها بالنسبة للمؤسسات التي تبحث عن نماذج مختلفة مصممة خصيصًا لحالات استخدام محددة.
ما هي مميزات موديل لاما 3؟
تم تدريب نموذج Llama 3 الخاص بـ Meta على مجموعة بيانات هائلة، بما في ذلك 15T من الرموز المميزة لمحتوى متعدد اللغات، وفقًا لـ Meta. مكنت هذه الكمية الهائلة من البيانات نموذجها الجديد من التفوق في المهام بما في ذلك تصنيف النص، والإجابة على الأسئلة المغلقة، وترميز الكتابة الإبداعية، واستخراج المعلومات التي تسكن الشخصية/الشخصية التي تسكن تلخيص التفكير. علاوة على ذلك، تم أيضًا تضمين تحسينات أخرى مثل إضافة رمز مميز قائم على Tiktoken مما أدى إلى زيادة المفردات بما يصل إلى 128 ألف رمز مميز.
تؤكد الشركة أن طراز Llama 3 الخاص بها قد تفوق على الأجهزة الأخرى في معايير مثل MMLU (المعرفة على مستوى المرحلة الجامعية)، وGSM-8K (رياضيات المدرسة الابتدائية)، وGPQA، وHumanEval؛ التفوق على نماذج مثل Google Gemma 7B Instruct وMistral Medium في حالات الاستخدام المختلفة بالإضافة إلى التفوق على Claude Sonnet وGemini Pro 1.5 وأحدث جيل GPT-4 من Google في معايير معينة.
تشتمل عائلة نماذج اللغة Llama 3 على متغيرات معلمة 8B و70B مدربة مسبقًا ومتغيرات مضبوطة للتعليمات. وفقًا لـ Meta، تم تحسين النماذج المضبوطة للتعليمات لحالات استخدام الحوار وتتفوق على العديد من نماذج الدردشة مفتوحة المصدر وفقًا لمعايير الصناعة الشائعة. علاوة على ذلك، تتميز هذه النماذج أيضًا ببنية تدفق المحادثة التي تساعد النموذج في فهم الكلام الطبيعي غير المنظم بشكل أفضل مع الاستجابة بسرعة أكبر للمطالبات.
بالإضافة إلى التفوق في هذه المعايير، تفيد الشركة أن نموذجها الجديد يتميز أيضًا بانخفاض “معدل الهلوسة” أو عدم الدقة في إنتاج استفسارات المستخدم. علاوة على ذلك، يمكن لمحرك تحليل الكلام متعدد اللغات هذا التعرف على أشكال الكلام الطبيعية والتركيبية أثناء التعامل مع التوقفات الطبيعية والتقلصات واللغة العامية بسهولة.
تعمل Meta حاليًا على نماذج Llama 3 أكبر وأكثر تقدمًا مع 400 مليار معلمة ودعم لغات وطرائق متعددة؛ سيتم إصدارها في وقت لاحق من هذا العام. تخطط Meta لجعل نماذج Llama الأكثر تقدمًا متاحة للجمهور، على أمل أن يستخدمها المطورون لتشغيل التطبيقات ذات التصميم الخاص بهم؛ بالإضافة إلى ذلك، ستستخدم نسخة مطورة من Meta AI، والتي تعمل حاليًا على تشغيل أشرطة البحث على Instagram وFacebook وWhatsApp، هذه النماذج كأساس لها.
ما هي مميزات موديل لاما 3؟
نموذج Meta’s Llama 3 هو حل متقدم للذكاء الاصطناعي، يوفر أداءً محسنًا وتجربة مستخدم محسنة. مناسب للشركات والأفراد على حد سواء، فتطبيقاته الشاملة تجعله خيارًا ذكيًا – مثل تحليل المشاعر وتصنيف البيانات ومهام ترجمة اللغة.
يمكن تنزيل نموذج Llama 3 مجانًا من Meta مع توفر حجمين من المعلمات، 8 مليار و70 مليار على التوالي. علاوة على ذلك، تم تحسين بنيته عالية الأداء للعمل بشكل أفضل على أجهزة Intel مثل مسرعات Gaudi AI ومعالجات Xeon لتحقيق أقصى قدر من الأداء.
أفادت Meta أن نموذج Llama 3 الخاص بها تفوق على سابقتها في معايير مثل MMLU وARC وDROP بينما كان أداؤها جيدًا أيضًا في مقاييس تقييم الذكاء الاصطناعي القياسية الأخرى. علاوة على ذلك، تسمح شفافيتها للمستخدمين بملاحظة كيفية وصولها إلى مخرجاتها.
علاوة على ذلك، يمكن لهذا النموذج التعامل مع كميات كبيرة من البيانات مع الحفاظ على قابلية التوسع عبر منصات حوسبة مختلفة، مما يجعله مناسبًا للمطورين الذين يعملون في مشاريع مختلفة. علاوة على ذلك، توفر دقتها تطبيقات أعمال مهمة.
يمكن لهذا النموذج التعامل مع مجموعة متنوعة رائعة من اللغات ويمكنه التكيف بسهولة مع متطلبات محددة. علاوة على ذلك، يتميز النموذج بتدابير السلامة Llama Guard وCybersecEval المصممة لتقليل المخاطر.
بالإضافة إلى ذلك، تم تدريب هذا النموذج مسبقًا على مجموعة بيانات أكبر سبع مرات من سابقتها. مع اكتمال التدريب على أكثر من 15 تريليون رمز فقط والسيناريوهات متعددة اللغات كنقطة تركيز – في الواقع، فهي تحتل حاليًا أفضل مكان نموذجي في فئتها!
ومع ذلك، فإن مثل هذا النموذج الموسع يطرح بعض التحديات. إحدى هذه العوائق هي حاجتها إلى موارد حسابية كبيرة أثناء التدريب والضبط الدقيق – مما يؤدي إلى انبعاثات كربونية كبيرة مرتبطة بعملية إنشائها. وللتخفيف من هذه المشكلة، اتخذت شركة Meta نهجًا أخلاقيًا في إنشائها من خلال موازنة انبعاثات الكربون المرتبطة بعمليات التدريب كجزء من خطتها التطويرية. علاوة على ذلك، جعلت Meta نموذجها متاحًا مجانًا للمطورين في جميع أنحاء العالم لاختباره وتحسينه.
ما هي عيوب نموذج لاما 3؟
كما هو الحال مع جميع نماذج اللغات الكبيرة، قد تعاني Llama 3 من بعض القيود. يتطلب تدريب هذا النموذج الوقت والمال؛ للحصول على أفضل النتائج، يجب جمع أمثلة تدريبية متعددة والتي قد تستغرق وقتًا طويلاً أو مكلفة. علاوة على ذلك، يمكن أن تصبح استجاباته شديدة الحساسية تجاه كلمات أو عبارات معينة قد تسبب استجابات غير متوقعة.
على الرغم من أن نمذجة الذكاء الاصطناعي تمثل بعض القيود، إلا أنها تظل مصدرًا فعالاً للمطورين والشركات التي تتطلع إلى إنشاء تطبيقات مدعومة بالذكاء الاصطناعي. لا يمكن للنموذج تقليل وقت التطوير والتكاليف فحسب، بل يسمح أيضًا للمطورين بتخصيص تجربة المستخدم؛ شيء يمكن أن يكون مفيدًا بشكل خاص عبر الصناعات بما في ذلك الخدمات المالية والرعاية الصحية وتجارة التجزئة وما إلى ذلك.
أدخلت Meta العديد من التعديلات على نموذج Llama 3 الخاص بها، مثل تقليل عدد المعلمات الضرورية وتسريع الأداء. علاوة على ذلك، تم تقديم الدعم للمدخلات متعددة الوسائط التي يمكنها إضافة صور أو مقاطع صوتية مباشرة إلى مخرجات النص للمساعي الإبداعية مثل كتابة الموسيقى أو تأليف الشعر. علاوة على ذلك، قد يستفيد أيضًا الحوار الطبيعي بين المستخدمين والآلات.
قامت Meta بتوسيع عملية ما بعد التدريب الخاصة بها إلى ما هو أبعد من مجرد تقليل معلمات النموذج من خلال إنشاء تقنيات ضبط جديدة مثل الضبط الدقيق الخاضع للإشراف والتعلم المعزز مع التعليقات البشرية لتحسين أدائها العام. علاوة على ذلك، تدعي شركة Meta أن نموذج Llama 3 الخاص بها يحتوي على عينات رفض أفضل – مما يعني عددًا أقل من المخرجات غير الصحيحة.
وأصدرت الشركة أيضًا عروضًا توضيحية توضح نموذج Llama 3 أثناء العمل، مثل الإجابة على الأسئلة وإكمال المهام واتباع التعليمات. يمكنك مشاهدة هذه العروض التوضيحية على موقعهم على الانترنت.
يمكن لقرار Meta بإطلاق نموذج Llama 3 كمصدر مفتوح أن يقدم بيانًا مؤثرًا حول مكانتها في الصناعة ويشجع الشركات الأخرى على أن تحذو حذوها، مما يقلل بشكل أكبر من حواجز الدخول أمام المطورين مع جعل تكامل الذكاء الاصطناعي أسهل لصانعي المنتجات.
هل أنت مهتم بنشر نماذج Llama 3؟ اتصل بنا!
