وضعت إحدى الأوراق الأساس للذكاء الاصطناعي الحديث: قصص من وراء الكواليس لثمانية من موظفي Google

المصدر: AI Faner

اجتمع ثمانية من موظفي Google بالصدفة وشاركوا في كتابة ورقة بحثية رائدة بعنوان "Converter". وقد أدى هذا التقدم التكنولوجي إلى تغيير مجال الذكاء الاصطناعي تمامًا الذكاء، وخاصة في فهم وإنشاء نص شبيه بالإنسان.

في ربيع عام 2017، نُشرت ورقة علمية بعنوان "الانتباه هو كل ما تحتاجه"، وكان المؤلفون الثمانية الموقعون عليها جميعهم من شركة جوجل، على الرغم من استقالة أحد الأعضاء في ذلك الوقت. عندما رأى المؤلف الكبير نعوم شازير المسودة الأولى، تفاجأ عندما وجد أن اسمه مدرج أولاً، وهو ما يعني على ما يبدو أن مساهمته كانت الأكثر أهمية. وقال في هذا الصدد: "لم أفكر عمدًا في هذه المسألة."

في الأوساط الأكاديمية، كانت كيفية ترتيب أسماء المؤلفين دائمًا مسألة توازن دقيق - من يتم وضع اسمه أولاً، ومن يتم وضعه أولاً ومن؟ ضعه أخيرًا. خاصة في مثل هذا الموقف حيث يترك الجميع بصمة فريدة في جهد جماعي حقيقي. وفي عجلة من أمرهم لاستكمال الورقة، قرر فريق البحث في نهاية المطاف كسر التقاليد وعدم ترتيب المساهمين. وأضافوا علامة النجمة وحاشية سفلية بجوار كل اسم: "المساهم المتساوي"، وأشاروا إلى أن "ترتيب الترتيب عشوائي". تم تقديم الورقة بعد ذلك إلى مؤتمر مرموق للذكاء الاصطناعي، حيث أثارت ثورة.

الاسم: نعوم شازر / المهنة: مؤسس مشارك لـ role AI والرئيس التنفيذي

الآن، ومع اقتراب مجلة Attention من الذكرى السابعة لتأسيسها، فقد حققت مكانة أسطورية. بدأ مؤلفو هذه الورقة البحثية من تكنولوجيا الذكاء الاصطناعي المزدهرة - الشبكات العصبية - وانتقلوا بها إلى مستوى جديد: فقد أنشأوا نظامًا رقميًا قويًا جدًا لدرجة أنه يبدو أنه يمتلك ذكاءً فضائيًا. أصبحت هذه البنية، التي تسمى "المحولات"، القوة الغامضة وراء جميع منتجات الذكاء الاصطناعي المذهلة، بما في ذلك ChatGPT ومولدات الرسوم البيانية Dall-E وMidjourney.

قال شازير مازحًا إنه لو كان يعلم مدى الشهرة التي ستحققها الصحيفة، "لربما كان أكثر قلقًا بشأن ترتيب قائمة المؤلفين". اليوم، أصبح جميع المؤلفين الثمانية من المشاهير الصغار. قال ليون جونز (المرتبة الخامسة عشوائيًا): "طلب مني أحدهم صورة شخصية لأنني شاركت ذات مرة في ورقة بحثية."

الاسم: LLION JONES/المهنة: المؤسس المشارك لـ SAKANA AI

"بدون المحول، لا أعتقد أننا سنحصل على اليوم وقال جيفري هينتون، عالم الذكاء الاصطناعي المشهور عالميًا، على الرغم من أنه لم يكن مؤلفًا للورقة: "سيكون هنا". إنه يشير إلى عصر التحول الذي نعيش فيه، حيث تقوم شركات مثل OpenAI ببناء أنظمة تتجاوز في بعض النواحي حتى الإنتاج البشري.

غادر هؤلاء المؤلفون الثمانية Google لاحقًا. والآن، مثل الملايين غيرهم، يستخدمون التكنولوجيا التي ابتكروها في عام 2017 بطريقة ما. لقد أجريت مقابلات مع ثمانية من مؤلفي "المحول" لمحاولة تجميع الصورة الكاملة لهذا الإنجاز - مجموعة من البراعة البشرية التي خلقت آلة قد تقضي على نفسها في نهاية المطاف.

تبدأ قصة المحول بالاسم الرابع في القائمة: Jakob Uszkoreit. والده، هانز أوسزكوريت، عالم لغوي حسابي معروف. تم سجن هانز في ألمانيا الشرقية لمدة 15 شهرًا في أواخر الستينيات بسبب احتجاجه على الغزو السوفيتي لتشيكوسلوفاكيا. بعد إطلاق سراحه من السجن، هرب إلى ألمانيا الغربية ودرس الكمبيوتر واللغويات في برلين. جاء لاحقًا إلى الولايات المتحدة وعمل في معهد SRI في مينلو بارك، كاليفورنيا، وهو الوقت الذي ولد فيه جاكوب. وفي نهاية المطاف، عادت العائلة إلى ألمانيا، حيث التحق جاكوب بالجامعة.

الاسم: JAKOB USZKOREIT / المهنة: المؤسس المشارك والرئيس التنفيذي لشركة الرئيس التنفيذي INCEPTIVE

على الرغم من أنه لم يكن يخطط في الأصل للتركيز على اللغات، إلا أنه عندما بدأ دراسته العليا تدرب في مكتب Google في ماونتن فيو وانضم إلى فريق الترجمة بالشركة. لقد تخلى عن خطط الدكتوراه وقرر في عام 2012 الانضمام إلى فريق في جوجل يعمل على نظام يمكنه الإجابة على أسئلة المستخدم مباشرة على صفحة البحث، دون إعادة توجيه المستخدمين إلى مواقع أخرى. في ذلك الوقت، كانت شركة أبل قد أطلقت للتو سيري، وهو المساعد الافتراضي الذي وعد بتقديم إجابات لمرة واحدة في المحادثات غير الرسمية، واعتقد المسؤولون التنفيذيون في جوجل أن سيري قد يهدد حركة البحث الخاصة بهم. بدأوا في إيلاء المزيد من الاهتمام لفريق Uszkoreit الجديد. وقال أوسزكوريت: "هذا ذعر زائف". سيري لا يهدد جوجل حقًا. لكنه يرحب بفرصة التعمق في الأنظمة التي تتحدث فيها أجهزة الكمبيوتر مع البشر. في ذلك الوقت، بدأت الشبكات العصبية المتكررة - التي كانت ذات يوم منطقة هامشية في الأوساط الأكاديمية - تتفوق فجأة على أساليب هندسة الذكاء الاصطناعي الأخرى. تتكون هذه الشبكات من طبقات متعددة يتم من خلالها تمرير المعلومات بشكل متكرر لتحديد أفضل استجابة.

حققت الشبكات العصبية نجاحًا كبيرًا في مجالات مثل التعرف على الصور، وظهرت فجأة حركة نهضة الذكاء الاصطناعي. تعمل Google بشكل محموم على تكييف قوتها العاملة لتبني هذه التقنيات. ترغب الشركات في بناء أنظمة تنتج استجابات شبيهة بالاستجابات البشرية، مثل إكمال الجمل تلقائيًا في رسائل البريد الإلكتروني، أو إنشاء روبوتات دردشة بسيطة نسبيًا لخدمة العملاء.

ومع ذلك، واجه هذا الحقل قيودًا. تواجه الشبكات العصبية المتكررة صعوبة في التعامل مع الكتل الطويلة من النص. على سبيل المثال، لفهم "ضربتين" في الجملة "جو لاعب بيسبول، وبعد تناول وجبة إفطار جيدة ذهب إلى الحديقة وحصل على ضربتين"، يحتاج نموذج اللغة إلى تذكر معلومات حول لعبة البيسبول. من الناحية الإنسانية، يجب أن تظل مركزة.

كان الحل في ذلك الوقت هو تقنية تسمى "الذاكرة الطويلة قصيرة المدى" (LSTM)، والتي سمحت لنماذج اللغة بمعالجة تسلسلات نصية أكبر وأكثر تعقيدًا. لكن الكمبيوتر لا يزال يعالج هذه التسلسلات بشكل تسلسلي صارم - كلمة بكلمة - ويتجاهل القرائن السياقية التي قد تظهر لاحقًا في النص. وقال أوسزكوريت: "إن النهج الذي نطبقه هو في الأساس إجراء مؤقت". "لم نتمكن حقًا من جعل الأشياء المناسبة تعمل على نطاق واسع."

في عام 2014 تقريبًا، بدأ في تصور نهج مختلف، وهو ما أسماه التركيز على الذات. يمكن لهذه الشبكة ترجمة الكلمة من خلال الإشارة إلى أي جزء آخر من النص. يمكن أن تساعد هذه الأجزاء الأخرى في توضيح غرض الكلمة ومساعدة النظام على إنتاج ترجمة جيدة. وقال: "إنه في الواقع يأخذ كل شيء في الاعتبار ويمنحك طريقة فعالة للنظر في الكثير من المدخلات في نفس الوقت ثم إخراج شيء ما بطريقة انتقائية إلى حد ما". على الرغم من أن علماء الذكاء الاصطناعي يحرصون على عدم الخلط بين استعارات الشبكة العصبية وكيفية عمل العقول البيولوجية فعليًا، يبدو أن أوزكوريت يعتقد أن التركيز على الذات يحمل بعض التشابه مع الطريقة التي يعالج بها البشر اللغة.

يعتقد Uszkoreit أن نماذج الاهتمام الذاتي قد تكون أسرع وأكثر فعالية من الشبكات العصبية المتكررة. كما أن الطريقة التي تعالج بها المعلومات مناسبة تمامًا لرقائق المعالجة المتوازية المنتجة بكميات كبيرة والتي تدعم طفرة التعلم الآلي. بدلاً من اتباع نهج خطي (النظر إلى كل كلمة بالتسلسل)، فإنه يتخذ نهجًا أكثر توازيًا (النظر إلى كلمات متعددة في وقت واحد). إذا تم القيام بذلك بشكل صحيح، يعتقد Uszkoreit، أنه يمكنك استخدام التركيز الذاتي حصريًا للحصول على نتائج أفضل.

لم يعتقد الجميع أن الفكرة ستغير العالم، بما في ذلك والد أوسزكوريت، الذي فاز بجائزتي Google لأبحاث أعضاء هيئة التدريس بينما كان ابنه يعمل في الشركة. يقول جاكوب أوسزكوريت: "كان الناس متشككين بشأن هذا الأمر لأنه يلغي كل البنى العصبية الموجودة". قل وداعا للشبكات العصبية المتكررة؟ هذه بدعة! "لقد أجريت أنا وأبي محادثات على مائدة العشاء حيث لم نتفق تمامًا." أقنع أوزكوريت بعض الزملاء بتجربة التركيز على الذات. أظهر عملهم نتائج واعدة، وقاموا بنشر بحث حول هذا الموضوع في عام 2016. أراد Uszkoreit دفع أبحاثهم إلى أبعد من ذلك - لم تستخدم تجارب الفريق سوى أجزاء صغيرة من النص - ولكن لم يكن أي من معاونيه مهتمًا بذلك. وبدلاً من ذلك، مثل المقامرين، يغادرون الكازينو بمكاسب متواضعة، ويطبقون الدروس التي تعلموها على مجالات مختلفة مختلفة في Google، بما في ذلك البحث والإعلان في نهاية المطاف. لقد كان نجاحًا مذهلاً من نواحٍ عديدة، لكن Uszkoreit لم يرغب في التوقف عند هذا الحد.

يعتقد Uszkoreit أن التركيز على الذات يمكن أن يؤدي إلى مهام أكبر. كان يعرض رؤيته لأي شخص يستمع إليه، وحتى أولئك الذين لا يستمعون إليه، ويرسمها على سبورة بيضاء في المبنى الواقع في شارع تشارلستون عام 1945 على الحافة الشمالية لحرم جوجل الجامعي.

في أحد أيام عام 2016، كان أوسزكوريت يتناول الغداء مع عالم يُدعى إيليا بولوسوخين في مقهى Google. وعمل بولوسوكين، المولود في أوكرانيا، في شركة جوجل لمدة ثلاث سنوات تقريبًا. تم تعيينه في فريق أجاب مباشرة على الأسئلة التي يطرحها مجال البحث. الأمور لم تسير على ما يرام تماما. وقال بولوسوخين: "للإجابة على شيء ما على موقع Google.com، فإنك تحتاج إلى شيء رخيص للغاية وعالي الأداء". "لأنه ليس لديك سوى أجزاء من الثانية للرد." عندما أعرب بولوسوخين عن شكواه، لم يتردد أوسزكوريت في التوصل إلى حل. وقال بولوسوخين: "لقد اقترح، لماذا لا نستخدم التركيز على الذات؟".

الاسم: ILLIA POLOSUKHIN/المهنة: مؤسس مشارك لـ NEAR< /strong>

يتعاون بولوسوخين أحيانًا مع زميله أشيش فاسواني. ولد فاسواني في الهند ونشأ في الشرق الأوسط، وذهب إلى جامعة جنوب كاليفورنيا للحصول على درجة الدكتوراه من مجموعة النخبة في الترجمة الآلية. بعد ذلك، انتقل إلى Mountain View للانضمام إلى Google، وتحديدًا إلى منظمة جديدة تسمى Google Brain. ويصف الدماغ بأنه "فريق جذري" ويعتقد أن "الشبكات العصبية ستعزز الفهم البشري". لكنه كان لا يزال يبحث عن مشروع كبير للعمل عليه. كان فريقه يعمل بجوار مبنى 1945، المعروف باسم مبنى 1965، وسمع عن فكرة التركيز على الذات. هل سيكون ذلك مشروعا؟ وافق على المضي قدما.

عمل الباحثون الثلاثة معًا لصياغة وثيقة تصميم بعنوان "المحولات: التركيز الذاتي التكراري والمعالجة على مجموعة متنوعة من المهام." وقال أوسزكوريت إنهم اختاروا اسم "المتحول" من "اليوم الأول". والفكرة هي أن هذه الآلية ستحول المعلومات التي تتلقاها، مما يسمح للنظام باستخراج أكبر قدر ممكن من الفهم - أو على الأقل إعطاء انطباع به. بالإضافة إلى ذلك، لدى Uszkoreit ذكريات جميلة عن اللعب بألعاب شخصيات الحركة من هاسبرو عندما كان طفلاً. قال: "كان لدي لعبتان صغيرتان من ألعاب Transformers عندما كنت طفلاً". تنتهي الوثيقة بصورة كرتونية لستة محولات تطلق أشعة الليزر على بعضها البعض في منطقة جبلية.

الاسم: أشيش فاسواني/المهنة: مؤسس مشارك لشركة ESENTIAL AI والرئيس التنفيذي

الجملة الواردة في بداية الورقة متعجرفة بعض الشيء أيضًا: "نحن رائعون".

في أوائل عام 2017، ترك بولوسوخين شركة Google ليبدأ مشروعه الشركة الخاصة. وبحلول ذلك الوقت، انضم متعاونون جدد. مهندس هندي اسمه نيكي بارمار عمل في الهند لدى شركة برمجيات أمريكية ثم انتقل بعد ذلك إلى الولايات المتحدة. حصلت على درجة الماجستير من جامعة جنوب كاليفورنيا في عام 2015 وتم تعيينها من قبل جميع شركات التكنولوجيا الكبرى. اختارت جوجل. وعندما بدأت العمل، انضمت إلى Uszkoreit وعملت على تحسين الأشكال المختلفة لنماذج بحث Google.

عضو جديد آخر هو ليون جونز. ولد ونشأ في ويلز، وهو يحب أجهزة الكمبيوتر "لأنها ليست طبيعية". في جامعة برمنغهام، أخذ دورة تدريبية في الذكاء الاصطناعي وأصبح مهتمًا بالشبكات العصبية باعتبارها بقايا تاريخية. حصل على درجة الماجستير في يوليو 2009 وعاش على المساعدات الاجتماعية لعدة أشهر لأنه لم يتمكن من العثور على وظيفة خلال فترة الركود. لقد وجد وظيفة في شركة محلية ثم تقدم بطلب إلى Google باعتباره "عملاً يائسًا". حصل على الوظيفة وانتهى به الأمر في شركة جوجل للأبحاث، حيث كان مديره بولوسوخين.

في أحد الأيام، سمع جونز عن مفهوم التركيز على الذات من زميل يُدعى مات كيلسي، الذي انضم لاحقًا إلى فريق المحولين. (في وقت لاحق، التقى جونز بكيلسي وأطلعه على مشروع المحول. ولم يكن كيلسي يشتريه. "قلت له: "لست متأكدًا من أن هذا سينجح"، والذي كان في الأساس أكبر توقع خاطئ في حياتي،" كيلسي يقول الآن.)

الاسم: NIKI PARMAR / المهنة: ESSENTIAL Co -مؤسس الذكاء الاصطناعي

اجتذب عمل Transformer باحثين آخرين في Google Brain الذين يحاولون أيضًا تحسين نماذج اللغات الكبيرة. ضمت هذه الموجة الثالثة عالم الكمبيوتر النظري البولندي المولد لوكاس كايزر ومتدربه إيدان جوميز. نشأ جوميز في قرية زراعية صغيرة في أونتاريو، كندا، حيث كانت عائلته تستغل أشجار القيقب كل ربيع للحصول على شراب القيقب.

عندما كان طالبًا مبتدئًا في جامعة تورنتو، وقع في حب الذكاء الاصطناعي من النظرة الأولى وانضم إلى مجموعة التعلم الآلي - مختبر جيفري هينتون. بدأ في الاتصال بالأشخاص الذين كتبوا أبحاثًا مثيرة للاهتمام في Google لتزويدهم بأفكار لتوسيع نطاق عملهم. أخذ القيصر الطعم ودعاه إلى التدريب. ولم يعلم غوميز إلا بعد أشهر أن هذه الدورات التدريبية كانت مخصصة لطلاب الدكتوراه، وليس للطلاب الجامعيين مثله.

سرعان ما أدرك كايزر وجوميز أن التركيز على الذات يبدو وكأنه حل واعد وأكثر جذرية للمشكلة التي كانوا يحلونها. وقال جوميز "لقد ناقشنا بوعي ما إذا كنا نريد دمج المشروعين". الجواب نعم.

بدأ فريق Transformer في بناء نموذج يركز على الذات لترجمة النص من لغة إلى أخرى. وقاموا بقياس أدائها باستخدام معيار يسمى BLEU، والذي يقارن مخرجات الآلة بعمل المترجمين البشريين. منذ البداية، قام نموذجهم الجديد بعمل رائع. قال أوسزكوريت: "لقد انتقلنا من عدم وجود دليل على المفهوم إلى امتلاك شيء يمكن مقارنته على الأقل بأفضل البدائل لـ LSTM في ذلك الوقت". لكن مقارنةً بالذاكرة طويلة المدى، "فهذا ليس أفضل".

لقد وصلوا إلى مرحلة الاستقرار - حتى ذات يوم في عام 2017، صادف أن سمع نعوم شازير عن مشروعهم. شازير هو أحد موظفي Google المخضرمين - انضم إلى الشركة في عام 2000 - وهو أسطورة داخلية، بدءًا من عمله على أنظمة الإعلانات المبكرة للشركة. يعمل شازير على التعلم العميق منذ خمس سنوات، وقد أصبح مؤخرًا مهتمًا بنماذج اللغات الكبيرة. لكن تلك النماذج لم تتمكن من إنتاج المحادثات السلسة التي اعتقد أنها ممكنة.

كما يتذكر شازير، كان يسير بجوار مساحة عمل كايزر في ردهة المبنى رقم 1965. وجد نفسه يستمع إلى مناقشة حية. "أتذكر أن أشيش كان يتحدث عن فكرة استخدام التركيز على الذات، وكان نيكي متحمسًا جدًا لها. فكرت، واو، تبدو هذه فكرة رائعة. يبدو أن هذا فريق ممتع وذكي يقوم ببعض الأشياء الواعدة. " وجد شازير أن الشبكات العصبية المتكررة الحالية "مزعجة" وفكر: "دعونا نستبدلها!"

كانت إضافة شازير إلى الفريق أمرًا أساسيًا. وقال أوزكوريت: "إن هذه الآليات النظرية أو البديهية، مثل التركيز على الذات، تتطلب دائمًا تنفيذًا دقيقًا للغاية، وعادةً ما يتم ذلك بواسطة عدد صغير من "السحرة" ذوي الخبرة لإظهار أي علامات على الحياة". بدأ شازير على الفور في عمل سحره. قرر أن يكتب نسخته الخاصة من كود فريق Transformer. وقال: "لقد أخذت الفكرة الأساسية وصنعتها بنفسي".

في بعض الأحيان كان يطرح سؤالاً على كايزر، ولكن في الغالب، كما قال، "كان يعمل عليه لفترة من الوقت ثم يعود ويقول: "انظر، لقد نجح الأمر"." باستخدام "السحر" " و"الكيمياء" و"أجراس وصفارات" لوصف شيء نقل النظام إلى المستوى التالي. قال جوميز: "أثار ذلك اندفاعًا". إنهم متحمسون، ويريدون أيضًا الالتزام بالموعد النهائي القادم في 19 مايو لنشر الأوراق البحثية في أكبر حدث للذكاء الاصطناعي لهذا العام، وهو مؤتمر أنظمة معالجة المعلومات العصبية في ديسمبر. مع تحول الشتاء إلى الربيع في وادي السيليكون، تتسارع وتيرة التجارب. لقد اختبروا نموذجين من المحولات: أحدهما تم إنتاجه بعد 12 ساعة من التدريب، ونسخة أقوى تسمى Big، تم تدريبها لمدة ثلاثة أيام ونصف. لقد جعلوهم يبدأون في الترجمة من الإنجليزية إلى الألمانية.

تفوق النموذج الأساسي على جميع المنافسين - وحقق Big درجة BLEU التي تغلبت بشكل حاسم على الرقم القياسي السابق بينما كانت أكثر كفاءة من الناحية الحسابية. وقال بارمار: "لقد فعلنا ذلك بشكل أسرع من أي شخص آخر". "وهذه مجرد البداية، لأن الأرقام مستمرة في التحسن." وعندما سمع أوسزكوريت الأخبار، احتفل بإخراج زجاجة من الشمبانيا القديمة التي كان يحتفظ بها في شاحنة المغامرة الجبلية الخاصة به.

في الأسبوعين الأخيرين قبل الموعد النهائي، عمل الفريق بوتيرة محمومة. على الرغم من أن بعض أعضاء الفريق لا يزال لديهم مكاتب رسميًا في المبنى 1945، إلا أنهم يعملون في الغالب في المبنى 1965 نظرًا لوجود آلة إسبرسو أفضل في المطبخ الصغير. يتذكر جوميز، الذي كان، كمتدرب، منشغلًا بتصحيح الأخطاء أثناء إنتاج التصورات والرسوم البيانية للورقة البحثية: "بالكاد كان الناس ينامون". في مثل هذه المشاريع، غالبًا ما يتم إجراء تجارب الاستئصال، أي إزالة أجزاء معينة للتحقق من أن الأجزاء المتبقية كافية لإكمال المهمة.

"لقد جربنا كل مجموعة ممكنة من الحيل والوحدات - ما نجح وما لم ينجح. قال جوميز: "كنا نحاول باستمرار ونستبدل". "لماذا يتصرف النموذج بهذه الطريقة غير البديهية؟ أوه، لأننا نسينا القيام بالإخفاء بشكل صحيح. الآن هل يعمل؟ حسنًا، وهكذا إلى النموذج التالي. كل هذه المكونات التي نسميها الآن محولات، كلها نتاج لهذا المستوى العالي - السرعة، عملية التجربة والخطأ التكرارية." وبمساعدة تطبيق شازير للكود، أنتجت تجارب الاستئصال "نتائج بخيلة إلى حد ما"، كما علق جونز. "نعوم ساحر."

يتذكر فاسواني قضاء الليل على أريكة المكتب بينما كان الفريق يعمل على إحدى الأوراق. حدّق في الستارة التي تفصل الأريكة عن بقية الغرفة، منجذبًا إلى الأنماط الموجودة عليها والتي تشبه المشابك العصبية والخلايا العصبية. كان جوميز هناك، وأخبره فاسواني أن العمل الذي يقومون به سيتجاوز الترجمة الآلية. وقال: "في نهاية المطاف، تماما مثل الدماغ البشري، تحتاج إلى توحيد كل هذه الطرائق - الكلام والسمع والبصر - تحت بنية واحدة". "كان لدي حدس قوي بأننا نكتشف شيئًا أكثر عمومية." ومع ذلك، في الجزء العلوي من جوجل، كان يُنظر إلى العمل على أنه مجرد مشروع آخر مثير للاهتمام للذكاء الاصطناعي. سُئل المؤلفون عما إذا كان المشرفون عليهم يتصلون بهم بشكل متكرر لإطلاعهم على التقدم المحرز في المشروع، وكانت الإجابات متواضعة. وقال أوسزكوريت: "لكننا نعلم أن هذا قد يكون شيئًا كبيرًا جدًا". "أدى ذلك إلى أن نصبح في الواقع مهووسين بجملة في نهاية الورقة."

أنذرت هذه الجملة بما قد يأتي بعد ذلك - تطبيق نموذج المحولات على جميع أشكال التعبير البشري بشكل أساسي. وكتبوا: "نحن متحمسون لمستقبل النماذج القائمة على الاهتمام". "نحن نخطط لتوسيع نطاق المحول ليشمل المشكلات التي تتضمن طرائق الإدخال والإخراج بخلاف النص" ودراسة "الصور والصوت والفيديو".

في إحدى الأمسيات قبل أيام قليلة من الموعد النهائي، أدرك Uszkoreit أنهم بحاجة إلى عنوان. يشير جونز إلى أن الفريق قام برفض أساسي لتقنية واحدة: الاهتمام. ذات مرة قامت فرقة البيتلز بعنوان أغنية "كل ما تحتاجه هو الحب". لماذا لا تسمي الورقة "الانتباه هو كل ما تحتاجه"؟

قال جونز: "أنا بريطاني". "لقد استغرق الأمر خمس ثوانٍ فقط من التفكير. ولم أتوقع منهم أن يستخدموه."

واستمروا في جمع نتائج التجربة حتى الموعد النهائي. قال بارمار: "قبل خمس دقائق من تسليم الجريدة، ظهرت الأرقام الإنجليزية والفرنسية. كنت جالسًا في المطبخ الصغير في المبنى رقم 1965 وحصلت على الرقم الأخير. لم يتبق لهم سوى دقيقتين وسارعوا للإرسال". it.thesis.

وسرعان ما تقدمت Google، مثل أي شركة تقنية أخرى تقريبًا، بطلب للحصول على براءة اختراع مؤقتة لهذا العمل. والسبب ليس منع الآخرين من استخدام الأفكار، بل بناء محفظة براءات الاختراع الخاصة بهم لأغراض دفاعية. (فلسفة الشركة هي "إذا تقدمت التكنولوجيا، فسوف تجني Google الفوائد.")

عندما استمع فريق Transformer إلى تعليقات المراجعين النظراء في المؤتمر، كانت ردود الفعل متباينة. قال بارمار: "أحدهما إيجابي، والآخر إيجابي للغاية، والآخر هو: هذا جيد". تم قبول الأوراق للعرض في جلسة الملصقات المسائية.

بحلول ديسمبر/كانون الأول، بدأت الصحيفة تثير ضجة. كان اجتماعهم الذي استمر أربع ساعات في السادس من ديسمبر مليئًا بالعلماء الذين أرادوا معرفة المزيد. يتحدث المؤلفون عن ذلك حتى تصبح أصواتهم أجش. وفي الساعة 10:30 مساءً، عندما انتهى الاجتماع، كان لا يزال هناك مجموعة من الأشخاص. وقال أوزكوريت: "كان على الأمن أن يطلب منا المغادرة". ولعل اللحظة الأكثر إرضاءً بالنسبة له كانت عندما أتى عالم الكمبيوتر سيب هوشريتر للإشادة بالعمل، وهو مجاملة كبيرة بالنظر إلى أن هوشريتر كان المخترع المشارك للذاكرة طويلة المدى، والتي قدمها المحول للتو. الاختيار في صندوق أدوات الذكاء الاصطناعي.

لم يسيطر المغيرون على العالم، أو حتى على Google على الفور. وأشار كايزر إلى أنه في وقت قريب من نشر الورقة، اقترح شازير على المديرين التنفيذيين في جوجل أن تتخلى الشركة عن فهرس البحث بالكامل وتدرب شبكة ضخمة باستخدام المحولات - بشكل أساسي، استخدام المحولات لتغيير الطريقة التي تنظم بها جوجل المعلومات. وفي ذلك الوقت، حتى كايزر نفسه كان يعتقد أن الفكرة سخيفة. الآن، تقول الحكمة التقليدية إنها مسألة وقت فقط.

اغتنمت شركة ناشئة تدعى OpenAI الفرصة بشكل أسرع. بعد وقت قصير من نشر الورقة، اقترح إيليا سوتسكيفر، الباحث الرئيسي في OpenAI، والذي كان يعرف فريق Transformer منذ أيامه في Google، أن يدرس عالمها Alex Radford هذه الفكرة. وكانت النتيجة أول منتجات GPT. وكما قال لي سام ألتمان، الرئيس التنفيذي لشركة OpenAI، في العام الماضي: "عندما صدرت ورقة المحولات، لا أعتقد أن أحداً في جوجل أدرك أهمية ذلك". وعلى المستوى الداخلي، أصبح الوضع أكثر تعقيداً. وقال أوسزكوريت: "من الواضح لنا أن المحولين يمكنهم فعل أشياء مذهلة حقًا". "الآن، قد تتساءل، لماذا لم تطلق Google ChatGPT في عام 2018؟ من الناحية الواقعية، كان من الممكن أن يكون لدينا GPT-3 أو حتى 3.5 في عام 2019، وربما في عام 2020. والسؤال الحقيقي ليس، هل رأوا ذلك؟ السؤال هو، "لماذا لا نفعل أي شيء بالحقائق التي رأيناها؟ الإجابة معقدة."

يشير العديد من نقاد التكنولوجيا إلى تحول Google من ساحة لعب تركز على الابتكار إلى آلية بيروقراطية تركز على النتيجة النهائية. . وكما قال جوميز لصحيفة فايننشال تايمز: "إنهم لم يقوموا بالتحديث. ولم يتبنوا التكنولوجيا". ولكن بالنسبة لشركة عملاقة قادت تقنيتها الصناعة لعقود من الزمن وحققت أرباحا ضخمة، فإن هذا يتطلب الكثير من الشجاعة. بدأت جوجل في دمج المترجمين في المنتجات في عام 2018، بدءًا من أدوات الترجمة الخاصة بها. وفي نفس العام، قدمت نموذجًا جديدًا للغة يعتمد على المحولات، BERT، والذي تم تطبيقه للبحث في العام التالي.

الاسم: AIDAN GOMEZ/المهنة: المؤسس المشارك والرئيس التنفيذي لشركة الرئيس التنفيذي لشركة COHERE

لكن هذه التغييرات التي تجري خلف الكواليس تبدو خجولة مقارنة بقفزات OpenAI ودمج Microsoft الجريء للأنظمة القائمة على المحولات في خط إنتاجها. عندما سألت الرئيس التنفيذي ساندر بيتشاي العام الماضي لماذا لم تكن شركته أول من أطلق نموذجًا لغويًا كبيرًا مثل ChatGPT، قال إنه في هذه الحالة، وجدت جوجل أنه من المفيد السماح للآخرين بأخذ زمام المبادرة. وقال "لست متأكدا بعد ما إذا كانت ستحقق هذا النجاح أم لا. الحقيقة هي أنه بمجرد أن يرى الناس كيف يعمل، يمكننا أن نفعل الكثير".

لا يمكن إنكار أن جميع مؤلفي الورقة الثمانية قد تركوا Google. قامت شركة Polosukhin، Near، ببناء blockchain تبلغ قيمة رموزها السوقية حوالي 4 مليارات دولار. أصبح Parmar وVaswani شريكين تجاريين في عام 2021، وشاركا في تأسيس Adept (بقيمة مليار دولار) ويديران الآن شركتهما الثانية التي تسمى Essential AI (استثمار 8 ملايين دولار).

تبلغ قيمة شركة Sakana AI التابعة لشركة Llion Jones ومقرها طوكيو 200 مليون دولار. بعد مغادرة شازير في أكتوبر 2021، شارك في تأسيس شركة Character AI (بقيمة 5 مليارات دولار). شارك المتدرب إيدان جوميز في تأسيس شركة Cohere ومقرها تورونتو (بقيمة 2.2 مليار دولار) في عام 2019. تبلغ قيمة شركة Inceptive للتكنولوجيا الحيوية التابعة لـ Jakob Uszkoreit 300 مليون دولار. تعتمد جميع هذه الشركات (باستثناء Near) على تقنية المحول.

الاسم: لوكاس كايزر / المهنة: باحث في OPENAI

القيصر هو الوحيد الذي لم يؤسس شركة. انضم إلى OpenAI وأصبح مخترع تقنية جديدة تسمى Q*، والتي قال ألتمان العام الماضي إنها "ستدفع حجاب الجهل وتدفع حدود الاكتشاف إلى الأمام". هذا في إحدى المقابلات، كاد مسؤول الدعاية في OpenAI أن يقفز فوق الطاولة لإيقافه.)

هل يفتقد Google هؤلاء الهاربين؟ باستثناء، بالطبع، أن البعض الآخر ينتقل من الشركات إلى الشركات الناشئة الجديدة في مجال الذكاء الاصطناعي. (ذكرني بيتشاي، عندما سألته عن رحيل ترانسفورمر، أن شركة OpenAI المحبوبة في الصناعة شهدت أيضًا انشقاقات: "إن مجال الذكاء الاصطناعي ديناميكي للغاية"، على حد تعبيره). ولكن ما يمكن أن تتباهى به جوجل هو أنها أنشأت عالمًا جديدًا. منصة لدعم بيئة لمتابعة الأفكار غير التقليدية. وقال بارمار: "لقد كانت جوجل في الطليعة من نواحٍ عديدة، فقد استثمرت في العقول الصحيحة وأنشأت بيئة يمكننا من خلالها استكشاف الحدود ودفعها إلى أقصى الحدود". "ليس من المستغرب أن يستغرق الأمر بعض الوقت حتى يتم اعتماده. فشركة Google لديها الكثير على المحك."

بدون هذه البيئة: لن يكون هناك محول. المؤلفان ليسا موظفين في Google فحسب، بل يعملان أيضًا في نفس المكتب. أدت اللقاءات المصادفة في الممرات والأحاديث الصغيرة على الغداء إلى لحظات كبيرة. الفريق أيضًا متنوع ثقافيًا. ستة من المؤلفين الثمانية ولدوا خارج الولايات المتحدة؛ أما الآخرون فهم أبناء ألمانيين يحملان البطاقة الخضراء ويقيمان بشكل مؤقت في كاليفورنيا، وأميركي فرت عائلته من الاضطهاد لجيل كامل.

قال أوسزكوريت من مكتبه في برلين إن الابتكار يدور حول توفير الظروف المناسبة. وقال: "يتعلق الأمر بجمع الأشخاص المتحمسين حقًا لشيء ما في الوقت المناسب من حياتهم". "إذا كان لديك هذا، واستمتعت بفعله، وكنت تتعامل مع المشكلات الصحيحة - وكنت محظوظًا - يحدث السحر."

هناك أيضًا علاقة بين Uszkoreit وشخصيته الشهيرة. الأب حدث شيء سحري. بعد كل هذه المناقشات على مائدة العشاء، شارك هانز أوزكوريت، حسبما أفاد ابنه، في تأسيس شركة تعمل على بناء نماذج لغوية كبيرة. وبطبيعة الحال، يتم استخدام المحول.