وفقًا لـ Decrypt، أصدرت شركة Mistral AI الناشئة ومقرها باريس Mixtral، وهو نموذج لغة مفتوح كبير (LLM) والذي يقال إنه يتفوق على OpenAI's GPT 3.5 في العديد من المعايير مع كونه أكثر كفاءة. حصلت الشركة مؤخرًا على تقييم بقيمة 2 مليار دولار وحصلت على استثمارات كبيرة من الفئة A من شركة رأس المال الاستثماري Andreessen Horowitz (a16z)، بمشاركة من عمالقة التكنولوجيا Nvidia وSalesforce.
وتستخدم ميكسترال تقنية تسمى الخليط المتناثر من الخبراء (MoE)، والتي تقول ميسترال إنها تجعل النموذج أكثر قوة وكفاءة من سابقه، ميسترال 7 بي، وحتى من منافسيه الأكثر قوة. MoE هي تقنية للتعلم الآلي يقوم من خلالها المطورون بتدريب نماذج خبراء افتراضية متعددة لحل المشكلات المعقدة. يتم تدريب كل نموذج خبير على موضوع أو مجال معين، وعندما يُطلب من النموذج مشكلة ما، يختار النموذج مجموعة من الخبراء من بين مجموعة من الوكلاء لتحديد المخرجات التي تناسب خبراتهم بشكل أفضل.
تدعي Mistral AI أن Mixtral لديه 46.7 مليار معلمة إجمالية ولكنها تستخدم فقط 12.9 مليار معلمة لكل رمز، مما يسمح لها بمعالجة المدخلات وتوليد المخرجات بنفس السرعة والتكلفة مثل نموذج 12.9 مليار. تذكر الشركة أيضًا أن Mixtral يتفوق على Llama 2 70B في معظم المعايير مع استدلال أسرع 6 مرات ويطابق أو يتفوق على GPT 3.5 في معظم المعايير القياسية.
تم ترخيص Mixtral بموجب ترخيص Apache 2.0 المسموح به، مما يسمح للمطورين بفحص الحلول المخصصة وتشغيلها وتعديلها وإنشائها بحرية أعلى النموذج. ومع ذلك، هناك جدل حول ما إذا كان ميكسترال مفتوح المصدر بنسبة 100٪، حيث أن ميسترال أصدرت فقط "أوزان مفتوحة" وترخيص النموذج الأساسي يمنع استخدامه للتنافس ضد ميسترال AI. لم تقدم الشركة الناشئة مجموعة بيانات التدريب والرمز المستخدم لإنشاء النموذج، وهو ما سيكون عليه الحال في مشروع مفتوح المصدر.
يقول Mistral AI أنه تم ضبط Mixtral للعمل بشكل جيد للغاية في اللغات الأجنبية إلى جانب اللغة الإنجليزية، وإتقان الفرنسية والألمانية والإسبانية والإيطالية والإنجليزية. تم إصدار نسخة موجهة تسمى Mixtral 8x7B Instruct أيضًا لمتابعة التعليمات الدقيقة، محققة أعلى درجة 8.3 على معيار MT-Bench، مما يجعلها أفضل نموذج مفتوح المصدر حاليًا على المعيار. يتوفر Mixtral للتنزيل عبر Hugging Face، ويمكن للمستخدمين أيضًا استخدام إصدار التعليمات عبر الإنترنت.