هل تتمتع النماذج اللغوية الكبيرة بقدرات تفكير غير لفظية؟

المصدر: Quantum

تستكشف مقالة رئيسية اليوم في Ars Technica مسألة ما إذا كانت النماذج اللغوية الكبيرة قادرة على التفكير غير اللفظي، مستشهدة بالنتائج التي توصل إليها الباحثون والتي تفيد بأن المعالجة في "الفضاء الكامن" يمكن أن تساعد الذكاء الاصطناعي يحل المشاكل المنطقية الصعبة. ماذا يحدث؟

حتى الآن، حققت نماذج اللغات الكبيرة نجاحًا كبيرًا، وذلك باستخدام بنية المحولات الخاصة بها للتنبؤ بكفاءة بالكلمة التالية (أي رمز اللغة) المطلوبة للرد على الاستعلام. ومع ذلك، عندما يتعلق الأمر بمهام الاستدلال المعقدة التي تتطلب منطقًا مجردًا، فقد وجد بعض الباحثين أن تفسير كل شيء من خلال هذا "الفضاء اللغوي" يمكن أن يسبب بعض المشكلات، حتى بالنسبة لنماذج "الاستدلال" الحديثة.

يحاول الباحثون الآن حل هذه المشكلات من خلال تصميم نماذج يمكنها حل المنطق الأساسي بالكامل في "الفضاء الكامن" - الطبقة المخفية من الحساب قبل أن يقوم المحول بإنشاء الحل. في حين أن هذا النهج لا يؤدي إلى تغيير كبير في القدرات الاستدلالية للنماذج اللغوية الكبيرة، فإنه يحسن بشكل كبير دقة أنواع معينة من المشاكل المنطقية ويشير إلى بعض الاتجاهات المثيرة للاهتمام لأبحاث جديدة.

انتظر لحظة، ما المساحة؟

تميل نماذج الاستدلال الحديثة (مثل ChatGPT's o1) إلى العمل من خلال إنشاء "سلاسل فكرية". في هذه النماذج، يتم تمثيل كل خطوة من خطوات العملية المنطقية كسلسلة من الرموز المميزة لكلمات اللغة الطبيعية ويتم تغذيتها مرة أخرى من خلال النموذج.

في بحث جديد، حدد باحثون من مجموعة أبحاث الذكاء الاصطناعي Meta Basic وجامعة كاليفورنيا في سان دييغو هذا الاعتماد على اللغة الطبيعية و"رموز الكلمات" باعتباره "قيدًا أساسيًا على نماذج الاستدلال هذه". " عامل". وذلك لأن إكمال مهام الاستدلال بنجاح غالبًا ما يتطلب تخطيطًا معقدًا لعلامات رئيسية محددة من أجل العثور على المسار المنطقي الصحيح من بين العديد من الخيارات.

يوضح الشكل أعلاه أن كل خطوة من خطوات النموذج القياسي يجب أن تمر عبر المحول ، ونماذج COCONUT تستخدم الفروق "الكامنة" المخفية بين الحالات. (مصدر الصورة: تدريب نماذج لغوية كبيرة على التفكير في مساحة كامنة مستمرة)

في نماذج سلسلة التفكير الحالية، عادةً ما يكون وضع علامات على الكلمات من أجل "تماسك النص" و"الطلاقة"، كما كتب الباحثون. لا يساهم إلا قليلاً في عملية التفكير الفعلية. وبدلاً من ذلك، يقترحون أنه "من الناحية المثالية، ستكون نماذج اللغة الكبيرة حرة في التفكير دون أي قيود لغوية ثم تترجم نتائجها إلى لغة فقط عند الضرورة".

ولتحقيق هذا "المثالي"، يصف الباحثون أ طريقة "لتدريب نماذج اللغة الكبيرة على التفكير في المساحات الكامنة المستمرة"، كما يشير عنوان الورقة. يتكون هذا "المساحة الكامنة" بشكل أساسي من مجموعة "مخفية" من الأوزان الوسيطة التي يحتوي عليها النموذج قبل أن يقوم المحول بإنشاء نسخة لغة طبيعية يمكن قراءتها بواسطة الإنسان لهذه الحالة الداخلية.

في نموذج COCONUT الخاص بالباحثين (سلسلة الأفكار المستمرة)، يتم تشفير هذه الحالات المخفية على أنها "أفكار كامنة" تحل محل الخطوات المكتوبة الفردية في تسلسل منطقي عند التدريب ومعالجة الاستعلامات. وهذا يتجنب الاضطرار إلى التحول إلى اللغة الطبيعية في كل خطوة و"يحرر التفكير من مساحة اللغة"، كما يكتب الباحثون، مما يؤدي إلى مسار تفكير أمثل يسمونه "التفكير المتسلسل".

رؤية أوسع

على الرغم من أن المعالجة المنطقية في الفضاء الكامن لها فوائد معينة في تحسين كفاءة النموذج، إلا أن النتيجة الأكثر أهمية هي أن هذه النماذج يمكنها "تشفير عدة الخطوات التالية المحتملة في وقت واحد." تتيح معالجة المنطق في "المساحة الكامنة" نوعًا من التراجع الفوري الذي يشبهه الباحثون ببحث العرض الأول في الرسم البياني. بدلاً من البحث عن كل خيار منطقي بالكامل وواحداً تلو الآخر في عملية "جشعة".

كتب الباحثون أن خاصية المعالجة المتزامنة الناشئة هذه تتجلى في الاختبار حتى لو لم يتم تدريب النموذج بشكل واضح. وكتبوا: "على الرغم من أن النموذج قد لا يتخذ القرار الصحيح في البداية، إلا أنه يمكنه الحفاظ على العديد من الخيارات الممكنة في التفكير المتسلسل، مسترشدًا ببعض وظائف القيمة الضمنية، والقضاء تدريجيًا على المسارات غير الصحيحة من خلال الاستدلال".

يسلط هذا الرسم البياني الضوء على بعض الطرق التي يمكن أن تفشل بها النماذج المختلفة في أنواع معينة من التفكير المنطقي. (المصدر: تدريب نماذج لغوية كبيرة على التفكير في مساحة كامنة مستمرة)

في اختبار الاستدلال الرياضي البسيط نسبيًا (GSM8K) أو اختبار الاستدلال العام (ProntoQA)، مقارنة بالتفكير التقليدي مقارنة بـ في نموذج السلسلة، فإن هذا الاستدلال متعدد المسارات لا يؤدي حقًا إلى تحسين دقة جوز الهند. لكن الباحثين وجدوا أن أداء النموذج كان جيدًا نسبيًا في مجموعة من الاستعلامات بأسلوب ProntoQA التي تم إنشاؤها عشوائيًا والتي تتضمن مجموعات معقدة ومعقدة من الشروط المنطقية (على سبيل المثال، "كل تفاحة هي ثمرة، وكل فاكهة هي طعام، وما إلى ذلك").

بالنسبة لهذه المهام، غالبًا ما تقع نماذج الاستدلال لسلسلة التفكير القياسية في طريق مسدود في الاستدلال عند محاولة حل مشكلات السلسلة المنطقية، أو حتى إنتاج قواعد وهمية تمامًا. اقترحت الأبحاث السابقة أيضًا أن الخطوات المنطقية "اللفظية" التي تنتجها نماذج سلسلة التفكير هذه "قد تستفيد في الواقع من عمليات الاستدلال الأساسية التي تختلف عن عمليات الاستدلال المشتركة".

ينضم البحث الجديد إلى مجموعة متنامية من الأبحاث التي تهدف إلى فهم واستغلال كيفية عمل النماذج اللغوية الكبيرة على مستوى شبكاتها العصبية الأساسية. في حين أن هذا النوع من الأبحاث لم يحقق اختراقات كبيرة بعد، يعتقد الباحثون أن النماذج التي تم تدريبها مسبقًا بهذا النوع من "التفكير المستمر" منذ البداية يمكن أن "تمكن النموذج من التعميم بشكل أكثر فعالية عبر نطاق أوسع من سيناريوهات الاستدلال".