نموذج OpenELM يؤدي إلى عصر جديد من الذكاء الاصطناعي، وسيتم إطلاق iPhone المجهز بمحرك ذكي

المصدر: قلب Metaverse

بينما تواصل Google وSamsung وMicrosoft الترويج بقوة لتقنية توليد الذكاء الاصطناعي على أجهزة الكمبيوتر الشخصية والأجهزة المحمولة، انضمت Apple أيضًا إلى الصفوف وأطلقت OpenELM.

هذه سلسلة نماذج لغات كبيرة مفتوحة المصدر (LLM) جديدة يمكن تشغيلها بالكامل على جهاز واحد دون الحاجة إلى الاتصال بخادم سحابي.

01. ميزات النموذج والأداء

في يوم الأربعاء بالتوقيت المحلي، تم إصدار OpenELM لمجتمع كود الذكاء الاصطناعي Hugging Face، وهو يتكون من سلسلة من النماذج الصغيرة المصممة لأداء النص بكفاءة مهام الجيل .

يحتوي OpenELM على ثمانية نماذج: أربعة نماذج مدربة مسبقًا وأربعة نماذج مضبوطة للتعليمات، تغطي من 270 مليون إلى 3 مليار معلمة مختلفة (تشير المعلمات إلى عدد الاتصالات بين الخلايا العصبية الاصطناعية في LLM، عادةً، كلما زاد عدد المعلمات، كان الأداء أقوى والمزيد من الوظائف).

في حين أن التدريب المسبق هو وسيلة لجعل LLM ينشئ نصًا متماسكًا وربما مفيدًا، فهو في المقام الأول تمرين تنبؤي، في حين أن ضبط التعليمات يدور حول جعل LLM يقدم استجابات أكثر صلة لطلبات المستخدم المحددة. طريقة الإخراج.

قد يتسبب التدريب المسبق في أن يستخدم النموذج نصًا بسيطًا فقط لإكمال المطالبة. على سبيل المثال، في مواجهة مطالبة المستخدم "علمني كيفية خبز الخبز"، قد يستجيب النموذج بشكل مشابه لـ "استخدم". فرن في المنزل." بدلاً من دليل فعلي خطوة بخطوة.

توفر Apple أوزان نموذج OpenELM، جنبًا إلى جنب مع تعليمات لنقاط فحص التدريب المختلفة، وإحصائيات أداء النموذج، والتدريب المسبق، والتقييم، وضبط التعليمات، وضبط المعلمات، ضمن ما تسميه "نموذج ترخيص الكود" ".

لا يحظر "نموذج ترخيص التعليمات البرمجية" الاستخدام التجاري أو التعديل، ولكنه ينص ببساطة على أنه "إذا قمت بإعادة توزيع برامج Apple بالكامل دون تعديل، فيجب عليك الاحتفاظ بهذا الإشعار في النص."

تذكر شركة Apple كذلك أن هذه النماذج "لا تتمتع بأي ضمانات أمنية". ونتيجة لذلك، فإن هذه النماذج لديها القدرة على إنتاج "مخرجات غير دقيقة أو ضارة أو متحيزة أو مرفوضة" استجابة لمطالبات المستخدم.

شركة Apple هي شركة تكنولوجيا غامضة و"مغلقة" عادةً. بالإضافة إلى نشر هذه النماذج والأبحاث عبر الإنترنت، لم تعلن علنًا عن عملية البحث الخاصة بها في هذا المجال.

بالإضافة إلى ذلك، في وقت مبكر من شهر أكتوبر من العام الماضي، أصدرت شركة Apple بهدوء Ferret، وهو نموذج لغة مفتوح المصدر يتمتع بقدرات متعددة الوسائط، ويتصدر عناوين الأخبار.

OpenELM هو اختصار لـ "Open-source Efficient Language Models". على الرغم من أنه تم إصداره للتو ولم يتم اختباره علنًا بعد، إلا أن قائمة Apple على HuggingFace تظهر أنها تستهدف تطبيقات الأجهزة. تمامًا مثل المنافسين Google وSamsung وMicrosoft.

من الجدير بالذكر أن Microsoft أصدرت للتو نموذج Phi-3 Mini هذا الأسبوع والذي يمكن تشغيله بالكامل على الهواتف الذكية.

02. التفاصيل الفنية وعملية التدريب

في ورقة تقديمية لسلسلة النماذج، ذكرت شركة Apple أن تطوير OpenELM "كان بقيادة ساشين ميهتا، وأيضًا بواسطة محمد رستجاري وبيتر". "زاتلوكال. المساهمين الرئيسيين"، سلسلة النماذج "تهدف إلى تمكين وتعزيز مجتمع البحث المفتوح وتعزيز الجهود البحثية المستقبلية."

تأتي نماذج OpenELM بأربعة أحجام من المعلمات: 270 مليونًا، و450 مليونًا، و1.1 مليارًا، و3 مليارات، وكل منها أصغر من العديد من النماذج عالية الأداء (التي تحتوي عادةً على حوالي 7 مليار معلمة). - نسخة مدربة وموجهة.

تم تدريب هذه النماذج مسبقًا على مجموعة بيانات عامة مكونة من 1.8 تريليون رمز مميز من Reddit وWikipedia وarXiv.org ومواقع الويب الأخرى.

النماذج مناسبة للتشغيل على أجهزة الكمبيوتر المحمولة التجارية وحتى بعض الهواتف الذكية، وتم تشغيل المعايير على "MacBook Pro المزود بمعالج Intel i9-13900KF CPU وNVIDIA RTX 4090 GPU وUbuntu 22.04 Workstation وmacOS 14.4.1."

ومن المثير للاهتمام أن جميع النماذج في السلسلة الجديدة تعتمد استراتيجية قياس هرمية، وتخصيص المعلمات داخل كل طبقة من نموذج المحولات.

وفقًا لشركة Apple، يتيح لهم ذلك تقديم نتائج عالية الدقة مع زيادة الكفاءة الحسابية. وفي الوقت نفسه، قامت Apple بتدريب النموذج مسبقًا باستخدام مكتبة CoreNet الجديدة.

أشارت Apple على HuggingFace: "تحتوي مجموعة بيانات التدريب المسبق لدينا على RefinedWeb، وPILE المتكررة، ومجموعة فرعية من RedPajama، ومجموعة فرعية من Dolma v1.6، بإجمالي 1.8 تريليون رمز مميز تقريبًا". >

فيما يتعلق بالأداء، تظهر نتائج OpenLLM التي شاركتها Apple أن أداء هذه النماذج جيد جدًا، خاصة متغير المؤشر الذي يبلغ 450 مليون معلمة.

بالإضافة إلى ذلك، فإن "متغير OpenELM" الذي يحتوي على 1.1 مليار معلمة أعلى بنسبة 2.36% من "OLMo" الذي يحتوي على 1.2 مليار معلمة، بينما يتطلب رموزًا مميزة أقل للتدريب المسبق بمقدار مرتين.

OLMo هو "نموذج لغة مفتوح المصدر ومتطور وواسع النطاق" تم إصداره مؤخرًا بواسطة معهد Allen للذكاء الاصطناعي (AI2).

03. اختبار الأداء وتعليقات المجتمع

في معيار ARC-C، المصمم لاختبار المعرفة والقدرة على التفكير، حقق متغير OpenELM-3B المدرب مسبقًا دقة تبلغ 42.24%. وفي الوقت نفسه، في MMLU وHellaSwag، تبلغ دقتها 26.76% و73.28% على التوالي.

لاحظ أحد المستخدمين الذي بدأ اختبار نموذج OpenELM أن النموذج يبدو "نموذجًا قويًا، ولكنه موحد جدًا"، مما يعني أن استجاباته ليست إبداعية على نطاق واسع ولا من المحتمل أن تكون مجال NSFW.

أطلقت شركة Microsoft المنافسة مؤخرًا Phi-3 Mini، مع 3.8 مليار معلمة وطول سياق 4K، وهي تتصدر هذا المجال حاليًا.

وفقًا للإحصائيات التي تمت مشاركتها مؤخرًا، سجل OpenELM 84.9% في 10 معايير ARC-C، و68.8% في 5 اختبارات MMLU، و68.8% في 5 اختبارات HellaSwag، وكان معدل النتيجة 76.7%.

من المتوقع أن يتحسن أداء OpenELM على المدى الطويل.

لكن مبادرات Apple مفتوحة المصدر أثارت حماسة المجتمع، وسننتظر ونرى كيف يستخدم المجتمع OpenELM في بيئات مختلفة.

04. رؤية Apple للذكاء الاصطناعي

التزمت شركة Apple الصمت بشأن خططها التوليدية للذكاء الاصطناعي، ولكن مع إصدار نماذج جديدة للذكاء الاصطناعي، يبدو أن طموحات الشركة على المدى القريب تتضاءل بقوة. مجال "تشغيل الذكاء الاصطناعي محليًا على أجهزة Apple."

تنبأ تيم كوك، الرئيس التنفيذي لشركة أبل، ذات مرة: "ستظهر قدرات توليد الذكاء الاصطناعي على أجهزة أبل". وفي فبراير من هذا العام، قالت شركة آبل إن شركة آبل تنفق "الكثير من الوقت والطاقة" في هذا المجال. ومع ذلك، لم تكشف شركة آبل عن تفاصيل محددة لتطبيقات الذكاء الاصطناعي.

أصدرت الشركة نماذج أخرى للذكاء الاصطناعي من قبل، لكنها لم تصدر أي نماذج أساسية للذكاء الاصطناعي للاستخدام التجاري مثل منافسيها.

بالإضافة إلى OpenELM، أطلقت Apple في ديسمبر من العام الماضي إطار عمل التعلم الآلي MLX، وتتمثل الحالة المثالية لهذا الإطار في تسهيل تشغيل نماذج الذكاء الاصطناعي على Apple Silicon. بالإضافة إلى ذلك، تم إصدار نموذج لتحرير الصور يسمى MGIE والذي يتيح للأشخاص إصلاح الصور باستخدام النصائح. ويمكن استخدام نموذج يسمى Ferret-UI للملاحة عبر الهاتف الذكي.

ومع ذلك، على الرغم من أن شركة Apple قد أصدرت العديد من النماذج، يُقال إن الشركة اتصلت بشركة Google وOpenAI على أمل إدخال نماذجها في منتجات Apple.