ناقش سبعة من المؤسسين المشاركين كيف نشأت شركة أنثروبيك.

إعداد وترجمة: ديب تايد تك فلو

الضيوف: المؤسسون المشاركون لشركة أنثروبيك: كريس أولاه، جاك كلارك، دانييلا أمودي، سام ماكاندليش، توم براون، داريو أمودي، جاريد كابلان

مصدر البودكاست: أنثروبيك

العنوان الأصلي: بناء أنثروبيك | محادثة مع مؤسسينا المشاركين

تاريخ البث: 20 ديسمبر 2024

خلال الأسبوع الماضي، تعرضت أنثروبيك لحادثين رئيسيين:

أولاً، أصبح ما يقرب من 3000 مستند داخلي متاحًا للجمهور بسبب خطأ في تكوين نظام إدارة المحتوى. ثم، تم إصدار Claude Code v2.1.88 على npm مع خريطة مصدر بحجم 59.8 ميجابايت، مما أدى إلى كشف 510,000 سطر من التعليمات البرمجية المصدرية.

من المفارقات العجيبة أن شركةً تُعتبر "الأمان" جزءًا لا يتجزأ من هويتها قد عانت من سلسلة كهذه من الأخطاء التشغيلية.

ولكن قبل التسرع في السخرية، دعونا نعود إلى محادثة داخلية دارت بين المؤسسين السبعة لشركة Anthropic منذ أكثر من عام.

تتضمن حلقة البودكاست هذه، المسجلة في ديسمبر 2024، سبعة أشخاص يناقشون كيفية تأسيس الشركة، وكيفية تطوير سياسة التوسع المسؤول (RSP)، ولماذا لا ينبغي استخدام كلمة "الأمان" بشكل عشوائي، وتصريح الرئيس التنفيذي داريو الذي يُستشهد به كثيرًا: "إذا انطلق إنذار الحريق في مبنى كل أسبوع، فهو في الواقع مبنى غير آمن للغاية."

عند سماع هذا التصريح الآن، فإنه يحمل بالتأكيد معنى مختلفًا. سبعة مؤسسين مشاركين، يمكن التعرف عليهم سريعًا: داريو أمودي | الرئيس التنفيذي، نائب الرئيس السابق للأبحاث في OpenAI، بخلفية في علم الأعصاب، صاحب القرار النهائي بشأن استراتيجية Anthropic وخارطة طريق السلامة. كان الأكثر حديثًا في هذه المحادثة. دانييلا أمودي | الرئيسة، شقيقة داريو. عملت سابقًا في Stripe لمدة خمس سنوات ونصف، حيث قادت فريق الثقة والأمان، وقبل ذلك في مجالات المنظمات غير الربحية والتنمية الدولية. وهي المسؤولة بشكل أساسي عن الهيكل التنظيمي والتواصل الخارجي لشركة Anthropic. جاريد كابلان | أستاذ فيزياء تحول إلى باحث في مجال الذكاء الاصطناعي، أحد المؤلفين الرئيسيين لكتاب *قوانين التوسع*. غالبًا ما يقدم أحكامًا من منظور خارجي، مدعيًا أنه سعى في البداية إلى الذكاء الاصطناعي لأنه كان "يشعر بالملل من دراسة الفيزياء". كريس أولاه | شخصية رائدة في أبحاث قابلية التفسير، دخل مجال الذكاء الاصطناعي في منطقة خليج سان فرانسيسكو في سن 19، حيث عمل في Google Brain وOpenAI. وهو الشخص الأكثر مثالية من الناحية التكنولوجية في Anthropic. توم براون | المؤلف الأول لورقة بحثية حول GPT-3، وهو الآن مسؤول عن إدارة موارد الحوسبة في شركة أنثروبيك. يميل منظوره نحو الهندسة والبنية التحتية؛ وفي البودكاست، ناقش رحلته من "عدم تصديقه أن الذكاء الاصطناعي سيتطور بهذه السرعة" إلى تغيير رأيه. أدار جاك كلارك، مراسل بلومبيرغ التقني السابق ورئيس قسم السياسات والشؤون العامة في أنثروبيك، النقاش، وتولى الانتقالات والإجابة على أسئلة المتابعة. أما سام ماكاندليش، المؤسس المشارك لفريق البحث، فقد كان الأقل كلامًا، لكنه غالبًا ما كان يُصيب كبد الحقيقة، مُختتمًا النقاش ببراعة.

ملخص أهم النقاط

لماذا الذكاء الاصطناعي: من الملل من الفيزياء إلى "التصديق بعد رؤية ما يكفي"

جاريد كابلان: "لقد درست الفيزياء لفترة طويلة، وشعرت ببعض الملل، وأردت العمل مع المزيد من الأصدقاء، لذلك اتجهت إلى الذكاء الاصطناعي."

داريو أمودي: "لا أعتقد أنني أقنعتك بشكل صريح؛ لقد استمريت فقط في عرض نتائج نماذج الذكاء الاصطناعي عليك. في مرحلة ما، عرضت عليك ما يكفي، وأنت قال: "همم، هذا يبدو صحيحًا."

جاريد كابلان: "تضرر العديد من باحثي الذكاء الاصطناعي نفسيًا من ركود الذكاء الاصطناعي، كما لو أن الطموح ممنوع."

داريو أمودي: "أعمق درس تعلمته من العقد الماضي هو أن العديد من الإجماعات التي "يعرفها الجميع" هي في الواقع عقلية القطيع متنكرة في زي النضج. لقد رأيت الإجماع يُقلب رأسًا على عقب بين عشية وضحاها عدة مرات، ثم ستقول: لا، سنراهن على هذا."

حتى لو كنت مصيبًا بنسبة 50% فقط، فستساهم بالكثير مما لم يساهم به الآخرون.

الأمان وقابلية التوسع مترابطان

داريو أمودي: "كان أحد دوافعنا لتوسيع نطاق النموذج هو أن يكون النموذج ذكيًا بما يكفي لكي يعمل RLHF. هذا ما نؤمن به حتى الآن: الأمان وقابلية التوسع مترابطان."

سياسة التوسع المسؤول (RSP) هي سياسة إنسانية

إنسانية

توم براون: "سياسة التوسع المسؤول (RSP) هي بمثابة دستورنا للإنسانية."

إنها وثيقة توجيهية أساسية، لذا فنحن على استعداد لاستثمار الكثير من الوقت والجهد في تحسينها. يقول داريو أمودي: "ستمنع خطة السلامة الخاصة بالمباني المشاريع التي لا تفي بمعايير السلامة من المضي قدمًا. نحن لا نتحدث عن مجرد شعارات؛ بل ندمج السلامة فعليًا في كل جانب من جوانب عملنا." تقول دانييلا أمودي: "لا يمكننا استخدام كلمة "السلامة" فقط لإملاء عملنا. هدفنا الحقيقي هو التأكد من أن الجميع يفهم بوضوح ما نعنيه بالسلامة." يقول داريو أمودي: "ما يقوض السلامة حقًا هو غالبًا "تدريبات السلامة" المتكررة. إذا كان مبنى ما يُطلق إنذارات الحريق كل أسبوع، فهو في الواقع مبنى غير آمن للغاية." "الفشل النبيل" فخ. يقول كريس أولاه: "هناك مقولة تقول إن السلوك الأكثر أخلاقية هو التضحية بالأهداف الأخرى من أجل السلامة، مما يدل على نقاء الهدف." لكن هذا النهج في الواقع يُؤدي إلى نتائج عكسية، لأنه يسمح بوصول سلطة اتخاذ القرار إلى أيدي من لا يُعطون الأولوية للسلامة. المؤسسان يتعهدان بالتبرع بـ 80% من الدخل. توم براون: "لقد تعهدنا جميعًا بالتبرع بـ 80% من دخلنا لقضايا تُساهم في تقدم المجتمع، وهو أمر ندعمه جميعًا بكل إخلاص." لم يرغب أحد في بدء مشروع تجاري، لكننا شعرنا أنه لا بد من ذلك. سام ماكاندليش: "في الواقع، لم يكن أي منا ينوي في البداية تأسيس شركة. شعرنا فقط أنها مسؤوليتنا لأنها الطريقة الوحيدة لضمان أن يسير تطوير الذكاء الاصطناعي في الاتجاه الصحيح." دانييلا أمودي: "مهمتنا واضحة ونقية، وهو أمر نادر في صناعة التكنولوجيا." قابلية التفسير: "علم الأحياء الاصطناعي" بأكمله مخفي في الشبكات العصبية. كريس أولاه: "الشبكات العصبية جميلة بشكل لا يُصدق، وفيها الكثير من الجمال الذي لم نره بعد." أتخيل أحيانًا أنني سأدخل مكتبة بعد عشر سنوات وأشتري كتابًا دراسيًا عن بيولوجيا الشبكات العصبية، مليئًا بمحتوى مذهل. الذكاء الاصطناعي لتعزيز الديمقراطية، لا كأداة للاستبداد. داريو أمودي: "نخشى أنه إذا طُوّر الذكاء الاصطناعي بشكل خاطئ، فقد يصبح أداة للاستبداد. كيف يمكن للذكاء الاصطناعي أن يكون أداة لتعزيز الحرية وتقرير المصير؟ هذا المجال لا يقل أهمية عن علم الأحياء وقابلية التفسير." من اجتماعات البيت الأبيض إلى جائزة نوبل: تأثير الذكاء الاصطناعي يتجاوز منذ فترة طويلة دائرة التكنولوجيا. جاريد كابلان: "في عام 2018، لم يكن أحد ليتخيل أن يستدعيه الرئيس إلى البيت الأبيض ليخبره أنهم يركزون على نماذج اللغة." داريو أمودي: "لقد رأينا بالفعل جائزة نوبل في الكيمياء تُمنح لبرنامج ألفافولد؛ يجب أن نسعى جاهدين لتطوير أدوات يمكن أن تساعدنا في إنشاء مئات من نماذج ألفافولد." لماذا ندرس الذكاء الاصطناعي؟ جاك كلارك: لماذا بدأنا العمل في مجال الذكاء الاصطناعي؟ جاريد: لماذا عملتم في مجال الذكاء الاصطناعي؟ جاريد كابلان: كنتُ أدرس الفيزياء لفترة طويلة، ثم شعرتُ ببعض الملل، وأردتُ العمل مع المزيد من الأصدقاء، لذا اتجهتُ إلى الذكاء الاصطناعي. توم براون: أعتقد أن داريو أقنعك. داريو أمودي: لا أعتقد أنني "أقنعتك" صراحةً. كنتُ فقط أُريك نتائج نماذج الذكاء الاصطناعي لأُريك أنها عامة وليست مُقتصرة على مشكلة واحدة. في مرحلة ما، أريتك ما يكفي، فقلتَ: "همم، هذا يبدو صحيحًا". جاك كلارك: كريس، عندما كنتَ تُجري أبحاثًا حول قابلية التفسير، هل التقيتَ بالجميع في جوجل؟ كريس أولاه: لا. في الواقع، التقيتُ بالعديد منكم عندما جئتُ إلى منطقة خليج سان فرانسيسكو لأول مرة عندما كنتُ في التاسعة عشرة من عمري. التقيتُ بداريو وجاريد حينها؛ كانا باحثين ما بعد الدكتوراه، وقد أعجبتُ بهما كثيرًا في ذلك الوقت. لاحقًا، في جوجل برين، بعد انضمام داريو، جلسنا جنبًا إلى جنب لفترة. عملتُ أيضًا مع توم، ثم في أوبن إيه آي، عملتُ معكم جميعًا. جاك كلارك: أتذكر لقائي بداريو في مؤتمر عام ٢٠١٥، وكنت أرغب في إجراء مقابلة معك. حتى أن مسؤول العلاقات العامة في جوجل قال إنه بحاجة لقراءة جميع أبحاثك أولًا. داريو أمودي: كنت أكتب بحثًا بعنوان "مشاكل ملموسة في أمان الذكاء الاصطناعي" في جوجل آنذاك. سام ماكاندليش: قبل أن أبدأ العمل معك، دعوتني إلى مكتبك لحوار، كان بمثابة عرض شامل للذكاء الاصطناعي. أتذكر أنني بعد ذلك الحوار فكرت: "هذا الأمر أكثر جدية مما كنت أتصور". تحدثتَ عن "الكتل الحسابية الضخمة"، وعدد المعاملات، وحجم الخلايا العصبية في الدماغ البشري.

التوسع المبتكر

جاك كلارك: أتذكر عندما كنا نعمل على قوانين التوسع في OpenAI، نجح توسيع النموذج بشكل ملحوظ في البداية، وظل يعمل بشكل جيد ومستمر في العديد من المشاريع، من GPT-2 إلى قوانين التوسع وصولاً إلى GPT-3، كنا نقترب أكثر فأكثر من ذلك.

داريو أمودي: كنا فريق "إنجاز المهام".

جاريد كابلان: كنا متحمسين للغاية أيضًا بشأن الأمن. في ذلك الوقت، كانت لدينا هذه الفكرة: سيكون الذكاء الاصطناعي قويًا للغاية، لكنه قد لا يفهم القيم الإنسانية، أو حتى يكون قادرًا على التواصل معنا.

تضمن نماذج اللغة، إلى حد ما، فهمها للكثير من المعرفة الضمنية.

داريو أمودي: هناك أيضًا RLHF فوق نماذج اللغة. كان أحد دوافعنا لتوسيع نطاق النموذج هو أن يكون النموذج ذكيًا بما يكفي لكي يعمل RLHF. هذا ما نؤمن به حتى الآن: الأمن والتوسع مترابطان. كريس أولاه: نعم، كان التوسع في الواقع جزءًا من فريق الأمن في ذلك الوقت. لأننا شعرنا أنه لجعل الناس يأخذون الأمن على محمل الجد، يجب أولاً أن تكون قادرًا على التنبؤ باتجاهات الذكاء الاصطناعي. جاك كلارك: أتذكر في مطار بريطاني، أخذ عينات من بيانات GPT-2 لكتابة أخبار مزيفة، ثم إرسالها إلى داريو على Slack قائلًا: "هذا يمكن أن ينجح حقًا، يمكن أن يكون له آثار سياسية هائلة"، وأتذكر أن داريو رد قائلًا: "نعم". لقد قمنا بالكثير من العمل المتعلق بالإصدار بعد ذلك؛ لقد كان الأمر جنونيًا. دانييلا أمودي: أتذكر ذلك الإصدار؛ كانت تلك المرة الأولى التي بدأنا فيها التعاون فعليًا، مع إصدار GPT-2. جاك كلارك: أعتقد أن ذلك كان مفيدًا جدًا لنا. بدأنا بشيء "غريب بعض الشيء ولكنه يركز على السلامة" معًا، ثم أنجزنا مشروع Anthropic، وهو مشروع أوسع نطاقًا، غريب بنفس القدر ولكنه يركز على السلامة. المراحل المبكرة للذكاء الاصطناعي. توم براون: بالعودة إلى ورقة "المشاكل الملموسة". انضممتُ إلى OpenAI في عام 2016، وكنا من أوائل الأعضاء. شعرتُ أن تلك الورقة كانت بمثابة أول ورقة بحثية سائدة في مجال سلامة الذكاء الاصطناعي. كيف ظهرت؟ داريو أمودي: كريس يعلم، فقد كان مشاركًا. كنا نعمل في جوجل آنذاك، وقد نسيتُ ما كان مشروعي الرئيسي في ذلك الوقت؛ أشعر وكأنني كنتُ أؤجل العمل على هذا المشروع. أردنا تدوين الأسئلة المفتوحة الموجودة في مجال أمن الذكاء الاصطناعي. في ذلك الوقت، كان أمن الذكاء الاصطناعي يُناقش غالبًا بطريقة مجردة للغاية، وأردنا ربطه بالتعلم الآلي في العالم الحقيقي. استمر هذا العمل لمدة ست أو سبع سنوات حتى الآن، لكنه كان مجرد فكرة غريبة في ذلك الوقت. كريس أولاه: أعتقد أنه كان مشروعًا سياسيًا نوعًا ما. لم يكن الكثيرون يأخذون الأمن على محمل الجد آنذاك. أردنا تجميع قائمة من الأسئلة المنطقية التي يتفق عليها الجميع، والتي كان العديد منها موجودًا بالفعل في الأدبيات، ثم إيجاد أشخاص موثوقين من مختلف المؤسسات للمشاركة في تأليف الأوراق البحثية. أتذكر أنني قضيت وقتًا طويلًا في التواصل مع أكثر من عشرين باحثًا في مجلة Brain لحشد الدعم للنشر. إذا نظرنا إلى المشكلة نفسها فقط، فقد لا يكون كل شيء صحيحًا عند النظر إليه بأثر رجعي، وقد لا يكون السؤال هو الأدق. لكن إذا نظرنا إليه على أنه بناء توافق في الآراء: إثبات أن "هناك مشاكل حقيقية هنا تستحق اهتمامًا جادًا"، فإنها ستكون لحظة حاسمة. جاك كلارك: في النهاية، ستدخل عالمًا خياليًا علميًا غريبًا للغاية. أتذكر أن شركة Anthropic تحدثت عن الذكاء الاصطناعي الدستوري في وقت مبكر، وقال جاريد: "نكتب دستورًا لنموذج لغوي، ويتغير سلوكه". بدا الأمر جنونيًا في ذلك الوقت. لماذا تعتقد أنه ممكن؟ جاريد كابلان: ناقشتُ هذا الأمر مع داريو لفترة طويلة، وأعتقد أن الأساليب البسيطة في الذكاء الاصطناعي غالبًا ما تُؤتي ثمارها بشكلٍ ممتاز. كانت النسخة الأولى معقدة نوعًا ما، ولكن جرى تبسيطها باستمرار حتى أصبحت: يكفي الاستفادة من قوة النموذج في اتخاذ القرارات، وإعطائه تلميحات واضحة حول ما يجب البحث عنه، ثم يُمكننا تدوين المبادئ مباشرةً. داريو أمودي: هذا يُعيدنا إلى "كتلة الحوسبة الضخمة"، و"الدرس القاسي"، و"فرضية التوسع": إذا استطعتَ تزويد الذكاء الاصطناعي بهدف واضح وبيانات، فإنه يستطيع التعلّم. مجموعة من التعليمات، ومجموعة من المبادئ - يستطيع نموذج اللغة قراءتها ومقارنتها بسلوكه الخاص؛ هدف التدريب موجود. لذلك اعتقدنا أنا وجاريد: هذا ممكن، طالما يتم ضبط التفاصيل بدقة وبشكل متكرر. جاريد كابلان: كان الأمر غريبًا بالنسبة لي في البداية. لقد أتيتُ من مجال الفيزياء، والآن الجميع متحمسون للذكاء الاصطناعي، مما يجعل من السهل نسيان الأجواء السائدة آنذاك. عندما تحدثتُ مع داريو عن هذه الأمور، شعرتُ أن العديد من باحثي الذكاء الاصطناعي قد تضرروا نفسيًا من ركود الذكاء الاصطناعي، وكأن "الطموح" ممنوع. كان النقاش حول الأمن يتطلب أولًا الإيمان بأن الذكاء الاصطناعي قد يكون قويًا ومفيدًا للغاية، ولكن في ذلك الوقت كان هناك نوع من الحظر على الطموح. إحدى مزايا الفيزيائيين هي "الثقة بالنفس" - فهم غالبًا ما يقومون بأشياء طموحة للغاية ويعتادون على الحديث عن رؤى عظيمة. داريو أمودي: أعتقد أن هذا صحيح؛ كانت هناك أشياء كثيرة لم يكن من الممكن قولها في عام 2014. هذه أيضًا مشكلة شائعة في الأوساط الأكاديمية؛ باستثناء بعض المجالات، أصبحت المؤسسات أكثر نفورًا من المخاطرة، وقد ورث الذكاء الاصطناعي الصناعي هذه العقلية. أعتقد أنها لم تظهر حتى حوالي عام 2022. كريس أولاه: هناك أيضًا شكلان من "المحافظة": أحدهما هو أخذ المخاطر على محمل الجد، والآخر هو اعتبار أخذ الأمور على محمل الجد والإيمان بإمكانية نجاح فكرة ما بمثابة ثقة بالنفس. لقد سيطر علينا الشكل الثاني في ذلك الوقت. حدث موقف مشابه في مناقشات الفيزياء النووية عام 1939: كان فيرمي مُعارضًا، بينما أخذ زيلارد وتيلر المخاطر على محمل الجد. يقول داريو أمودي: "أعمق درس تعلمته من العقد الماضي هو أن العديد من الإجماعات التي تدّعي معرفة الجميع ما هي إلا عقلية القطيع مُقنّعة بالنضج. لقد رأينا الإجماع ينقلب رأسًا على عقب بين عشية وضحاها عدة مرات، ثم نقول: لا، سنراهن على هذا. قد لا يكون صحيحًا، لكن تجاهل الضجيج وراهن. حتى لو كنت مُصيبًا بنسبة 50% فقط، فستُساهم بالكثير مما لم يُساهم به الآخرون." يقول جاريد كابلان: "هذا صحيح أيضًا اليوم في بعض قضايا الأمن: الإجماع الخارجي هو أن العديد من مشاكل الأمن لا تنشأ بشكل طبيعي من التكنولوجيا، لكن أبحاثنا في أنثروبيك تُظهر أنها تنشأ بالفعل بشكل طبيعي." تقول دانييلا أمودي: "لكن هذا تغيّر خلال الأشهر الثمانية عشر الماضية، وتغيّر أيضًا موقف العالم تجاه الذكاء الاصطناعي بشكل كبير. عندما نجري أبحاثًا على المستخدمين، نسمع المزيد من المستخدمين العاديين حول مخاوفهم بشأن التأثير الكلي للذكاء الاصطناعي على العالم." أحيانًا يتعلق الأمر بالوظائف والتحيزات والسمية؛ وأحيانًا يتعلق بـ "ما إذا كان سيُحدث تغييرًا جذريًا في العالم ويُغير طريقة تعاون البشر"، وهو ما لم أتوقعه تمامًا. يقول آم ماكاندليش: لسبب ما، غالبًا ما يكون مجتمع أبحاث التعلم الآلي أكثر تشاؤمًا من عامة الناس بشأن "قوة الذكاء الاصطناعي المتزايدة". يقول جاريد كابلان: في عام 2023، ذهبت أنا وداريو إلى البيت الأبيض. خلال الاجتماع، قالت هاريس ورايموندو بشكل أساسي: "نحن نراقبكم. الذكاء الاصطناعي أمر بالغ الأهمية، ونحن نوليه اهتمامًا كبيرًا". لكن في عام 2018، لم يكن أحد ليتخيل "أن يستدعيك الرئيس إلى البيت الأبيض ليقول إنهم يدرسون نماذج اللغة". يقول توم براون: من المثير للاهتمام أن العديد منا دخل هذا المجال عندما بدا غير مؤكد، مثل تشكيك فيرمي بشأن القنبلة الذرية. كانت هناك بعض الأدلة على إمكانية بناء القنبلة الذرية، ولكن كانت هناك أيضًا أدلة كثيرة على عدم إمكانية ذلك، لكنه قرر في النهاية المحاولة. لأنه لو كان ذلك صحيحًا، لكان التأثير هائلًا، لذا كان الأمر يستحق العناء.

2015-2017 كانت هناك بعض الأدلة، وتزداد باستمرار، على أن الذكاء الاصطناعي قد يكون ذا أهمية كبيرة. في عام 2016، تحدثت إلى مرشدي: لقد أسست شركات ناشئة وأردت العمل على أمن الذكاء الاصطناعي، لكن مهاراتي في الرياضيات لم تكن قوية بما يكفي، ولم أكن أعرف ماذا أفعل. في ذلك الوقت، قال بعض الناس إنني بحاجة إلى أن أكون بارعًا في نظرية القرار؛ وقال البعض الآخر إنه لن تكون هناك أي أحداث غريبة في مجال الذكاء الاصطناعي، وكان هناك عدد قليل جدًا من الأشخاص الذين يدعمونه حقًا.

جاك كلارك:

في عام 2014، اعتُبرت مجنونًا لقيامي بإعداد تقارير عن اتجاهات ImageNet. في عام 2015، أردت الكتابة عن NVIDIA لأن جميع أوراقي البحثية ذكرت وحدات معالجة الرسومات، وقيل لي أيضًا إنني مجنون؛ في عام ٢٠١٦، عندما تركتُ الصحافة لأتجه إلى مجال الذكاء الاصطناعي، تلقيتُ رسالةً إلكترونيةً تقول: "لقد ارتكبتَ أكبر خطأ في حياتك". في ذلك الوقت، من نواحٍ عديدة، بدا الرهان الجاد على "نجاح قابلية التوسع" ضربًا من الجنون.

جاريد كابلان: كيف اتخذتَ قرارك؟ هل كنتَ مترددًا؟

جاك كلارك: لقد راهنتُ رهانًا مخالفًا للرأي السائد: طلبتُ أن أصبح صحفيًا متخصصًا في الذكاء الاصطناعي بدوام كامل وأن أضاعف راتبي، مع علمي بأنهم لن يوافقوا. ثم استيقظتُ ذات صباحٍ واستقلت. ولأنني كنتُ أقرأ الأرشيفات يوميًا، كنتُ أشعر دائمًا أن شيئًا جنونيًا يحدث، وفي مرحلةٍ ما يجب أن تراهن بثقةٍ عالية. توم براون: لم أكن حاسمًا إلى هذا الحد؛ لقد ترددتُ لمدة ستة أشهر. دانييلا أمودي: وفي ذلك الوقت، لم تكن فكرة أن "المهندسين قادرون على تطوير الذكاء الاصطناعي بشكلٍ كبير" شائعة. كان الاعتقاد السائد هو أن "الباحثين فقط هم من يستطيعون العمل في مجال الذكاء الاصطناعي"، لذا فإن ترددك ليس مفاجئًا. توم براون: لاحقًا، قالت OpenAI: "يمكنك المساهمة في جعل الذكاء الاصطناعي أكثر أمانًا من خلال الهندسة"، ولهذا السبب انضممت. دانييلا، هل كنتِ مديرتي في OpenAI؟ ولماذا انضممتِ؟ دانييلا أمودي: عملتُ في Stripe لمدة خمس سنوات ونصف، وكان غريغ مديري. عرّفتُ غريغ أيضًا على داريو. كان داريو يُؤسس OpenAI في ذلك الوقت، وقلتُ له: "أذكى شخص أعرفه هو داريو. إذا استطعتَ ضمه إلى الفريق، فستكون محظوظًا جدًا". انضم داريو لاحقًا إلى OpenAI. ربما مثلكِ، كنتُ أفكر أيضًا فيما أريد فعله بعد مغادرة Stripe. السبب الذي دفعني للانضمام إلى Stripe هو أنني بعد العمل في المنظمات غير الربحية والتنمية الدولية، شعرتُ أنني بحاجة إلى المزيد من المهارات. في الواقع، في ذلك الوقت، كنتُ أعتقد أنني سأعود في النهاية إلى هذا المجال. قبل الانضمام إلى Stripe، شعرتُ أنني لا أملك القدرة على مساعدة من هم أقل حظًا مني. لذلك كنتُ أبحث في شركات تقنية أخرى، على أمل إيجاد طريقة جديدة لإحداث تأثير أكبر، وبدا لي OpenAI خيارًا رائعًا. إنها منظمة غير ربحية مكرسة لتحقيق هدف بالغ الأهمية والمعنى. لطالما آمنتُ بإمكانيات الذكاء الاصطناعي، وكنتُ أعرف بعض الشيء عن داريو، وكانوا بحاجة ماسة لشخص يُساعد في إدارة الأمور، لذا شعرتُ أن هذه الوظيفة تُناسب خبرتي تمامًا. فكرتُ: "هذه منظمة غير ربحية، مجموعة من الأشخاص الموهوبين جدًا ذوي رؤية عظيمة، لكن عملياتهم تبدو غير منظمة بعض الشيء". كان هذا التحدي هو ما أثار حماسي، لأنه يُتيح لي الانضمام إليهم. في ذلك الوقت، شعرتُ أنني أُجيد كل شيء، ليس فقط إدارة أعضاء الفريق، بل أيضًا قيادة الفرق التقنية وإدارة التوسع التنظيمي. كنتُ مسؤولة عن التوسع التنظيمي، وعملتُ في فريق اللغة، ثم توليتُ مهامًا أخرى لاحقًا. كما شاركتُ في بعض الأمور المتعلقة بالسياسات، وعملتُ مع كريس. أشعر أن هناك العديد من الأشخاص الموهوبين في الشركة، مما يجعلني مُتحمسة بشكل خاص للانضمام ومساعدة الشركة على أن تُصبح أكثر كفاءة وتنظيمًا. جاك كلارك: أتذكر بعد GPT-3 أنكِ قلتِ: "هل سمعتِ عن الثقة والأمان؟" دانييلا أمودي: كنتُ أقود فريق الثقة والأمان في سترايب. بالنسبة لتقنيات كهذه، قد تحتاج إلى مراعاة مسألة الثقة والأمان. وهذا في الواقع جسر يربط بين أبحاث أمان الذكاء الاصطناعي والعمل اليومي الأكثر واقعية، أي كيفية جعل النموذج آمنًا حقًا. من المهم جدًا التأكيد على أن "هذه التقنية سيكون لها تأثير كبير في المستقبل". في الوقت نفسه، نحتاج أيضًا إلى القيام ببعض الأعمال العملية بشكل يومي لوضع الأساس لمواجهة سيناريوهات أكثر خطورة في المستقبل.

سياسة التوسع المسؤول: ضمان التطوير الآمن للذكاء الاصطناعي

جاك كلارك: هذه فرصة جيدة للحديث عن كيفية ظهور سياسة التوسع المسؤول (RSP)، ولماذا توصلنا إليها، وكيف نطبقها الآن، لا سيما بالنظر إلى العمل الذي أنجزناه حتى الآن فيما يتعلق بثقة النموذج وأمانه.

إذن، من اقترح سياسة التوسع المسؤول (RSP) هذه لأول مرة؟

داريو أمودي:

اقترحها في البداية أنا وبول كريستيانو، في أواخر عام 2022 تقريبًا. كانت الفكرة الأولية هي: هل يجب علينا تقييد توسع النموذج مؤقتًا قبل أن يصل إلى حجم معين، إلى أن نجد طريقة لمعالجة بعض المشكلات الأمنية؟

لذلك، قام بول بتصميم هذه الاستراتيجية بنفسه. وبالطبع، تغيرت تفاصيل كثيرة بمرور الوقت. من جانب آخر، واصل فريقنا البحث عن كيفية تحسين فعالية الاستراتيجية. عندما وضع بول اللمسات الأخيرة على المفهوم، أعلن عنه بشكل شبه فوري، وأصدرنا نسختنا في غضون شهر أو شهرين. في الواقع، شارك العديد من أعضاء فريقنا بشكل كبير في هذه العملية. أتذكر أنني كتبت مسودة أولية واحدة على الأقل، لكن الوثيقة بأكملها خضعت لمراجعات متعددة. توم براون: بالنسبة لشركة أنثروبيك، تُعدّ خطة إدارة المخاطر بمثابة "دستورنا". إنها وثيقة توجيهية أساسية، لذلك نحن على استعداد لاستثمار الكثير من الوقت والجهد في تحسينها لضمان دقتها واكتمالها. دانييلا أمودي: أعتقد أن تطوير خطة إدارة المخاطر داخل أنثروبيك كان مثيرًا للاهتمام حقًا. لقد مرّ بمراحل متعددة وتطلّب مجموعة متنوعة من المهارات المختلفة لدفع تنفيذه. على سبيل المثال، كانت هناك بعض الأفكار الرئيسية، التي تولّاها بشكل أساسي داريو وبول وسام وجاريد، الذين كانوا يفكرون: "ما هي مبادئنا الأساسية؟ ما هي الرسالة التي نريد إيصالها؟" كيف نحدد ما إذا كنا نسير على الطريق الصحيح؟ ولكن إلى جانب ذلك، هناك أيضًا عمل تشغيلي عملي للغاية. على سبيل المثال، خلال عملية التكرار المستمر، نقوم بتقييم بعض التفاصيل وتعديلها. فعلى سبيل المثال، إذا كنا نتوقع في الأصل تحقيق أهداف معينة بمستوى أمني محدد، ولكننا لم نتمكن من ذلك، فإننا نعيد التقييم ونتأكد من أننا مسؤولون عن نتائج عملنا. بالإضافة إلى ذلك، هناك العديد من التعديلات المتعلقة بالهيكل التنظيمي. على سبيل المثال، قررنا إعادة تصميم الهيكل التنظيمي لـ RSP لتحديد المسؤوليات بشكل أكثر وضوحًا. أحب استخدام الدستور كمثال لأهمية هذه الوثيقة. فكما أنشأت الولايات المتحدة نظامًا ومؤسسات كاملة، بما في ذلك المحاكم والمحكمة العليا والرئيس ومجلس النواب ومجلس الشيوخ، لضمان تنفيذ الدستور. على الرغم من أن هذه المؤسسات تضطلع بمسؤوليات أخرى، إلا أن وجودها يهدف في المقام الأول إلى دعم الدستور، ويخضع برنامجنا الأمني ​​في أنثروبيك لعملية مماثلة. يقول سام ماكاندليش: "أعتقد أن هذا يعكس في الواقع وجهة نظر أساسية حول قضايا الأمن: مشاكل الأمن قابلة للحل. إنها مهمة معقدة للغاية وتتطلب استثمارًا كبيرًا من الوقت والجهد. وكما هو الحال في مجال سلامة السيارات، فقد تم وضع اللوائح والمؤسسات ذات الصلة على مدى سنوات عديدة. لكن السؤال الذي يواجهنا الآن هو: هل لدينا الوقت الكافي لإنجاز هذا العمل؟ لذلك، يجب علينا تحديد اللوائح الرئيسية اللازمة لأمن الذكاء الاصطناعي في أسرع وقت ممكن ووضعها هنا أولاً، مع ضمان إمكانية اعتماد هذه اللوائح والترويج لها في أماكن أخرى." يقول داريو أمودي: "يساعد هذا أيضًا في التعاون الداخلي والاتساق، لأنه إذا لم يتوافق أي جزء من سلوك المنظمة مع قيمنا الأمنية، فسيكشف البرنامج الأمني ​​المشكلة بطريقة ما، أليس كذلك؟" سيمنعهم هذا من الاستمرار في متابعة المشاريع التي لا تفي بمعايير السلامة. لذلك، فهو بمثابة تذكير دائم للجميع بأن ضمان السلامة شرط أساسي في تطوير المنتجات والتخطيط لها. نحن لا نتحدث عن مجرد شعارات؛ دمج السلامة بشكل حقيقي في كل جانب. إذا انضم شخص ما إلى الفريق ولا يتفق مع هذه المبادئ، فسيجد نفسه غير قادر على الاندماج. إما أن يتكيف مع التوجه أو سيجد صعوبة في الاستمرار. يقول جاك كلارك: "مع مرور الوقت، أصبحت RSP ذات أهمية متزايدة. لقد استثمرنا آلاف الساعات فيها، وعندما أشرح RSP لأعضاء مجلس الشيوخ، أقول: "لدينا تدابير لضمان أن تكون تقنيتنا صعبة الاستغلال وآمنة"، ويكون رد فعلهم المعتاد: "هذا يبدو طبيعيًا. ألا تفعل كل الشركات ذلك؟" "هذا يجعلني أضحك وأبكي في نفس الوقت؛ ليس كل الشركات تفعل ذلك." تقول دانييلا أمودي: "علاوة على ذلك، أعتقد أنه إلى جانب تعزيز توافق القيم داخل الفريق، فإن RSP تعزز أيضًا شفافية الشركة. لأنها توثق بوضوح أهدافنا، يفهمها كل فرد داخل الشركة، ويعرف الآخرون أيضًا أهدافنا الأمنية وتوجهنا بوضوح." على الرغم من أنه ليس مثاليًا، إلا أننا نعمل باستمرار على تحسينه وتطويره. أعتقد أنه من المهم توضيح "ما هي اهتماماتنا الأساسية". لا يمكننا استخدام كلمة "الأمن" بشكل تعسفي للتأثير على سير العمل، مثل "بسبب مشاكل أمنية، لا يمكننا فعل هذا" أو "بسبب مشاكل أمنية، يجب علينا فعل هذا". هدفنا الحقيقي هو أن يفهم الجميع بوضوح ما نعنيه بالسلامة. داريو أمودي: "على المدى الطويل، ما يقوض السلامة حقًا هو غالبًا تلك "التدريبات الأمنية" المتكررة. لقد قلت من قبل، "إذا كان المبنى مزودًا بجهاز إنذار حريق ينطلق كل أسبوع، فهو في الواقع مبنى غير آمن للغاية". "لأنه عندما يندلع حريق حقيقي، قد لا يهتم أحد، لذلك علينا أن نكون حذرين للغاية بشأن دقة أجهزة الإنذار ومعايرتها". كريس أولاه: "من منظور آخر، أعتقد أن برنامج RSP يخلق حوافز صحية على مستويات عديدة". على سبيل المثال، داخليًا، يربط برنامج RSP حوافز كل فريق بأهداف السلامة، ما يعني أنه إذا لم نحرز تقدمًا كافيًا في مجال السلامة، فسيتم تعليق العمل. خارجيًا، يوفر برنامج RSP أيضًا حوافز أفضل من الطرق الأخرى. فعلى سبيل المثال، إذا اضطررنا يومًا ما إلى اتخاذ إجراء هام، كالإقرار بأن "نموذجنا قد وصل إلى مرحلة معينة، لكننا لا نستطيع ضمان سلامته بعد"، فإن برنامج RSP يوفر إطارًا واضحًا وأدلة تدعم هذا القرار. هذا الإطار موجود بالفعل، وهو واضح وسهل الفهم. بالعودة إلى مناقشة الإصدارات الأولى من برنامج RSP، لم أكن أدرك إمكاناته بالكامل، لكنني أعتقد الآن أنه بالتأكيد أكثر فعالية من أي طريقة أخرى أعرفها. يقول جاريد كابلان: أتفق مع هذه النقاط، لكنني أعتقد أن هذا قد يقلل من شأن التحديات التي نواجهها في تطوير السياسات الصحيحة، ومعايير التقييم، وتحديد الحدود. لقد أجرينا تحسينات مكثفة في هذه المجالات، وما زلنا نعمل على تحسينها. إحدى المشكلات الصعبة هي أنه مع بعض التقنيات الناشئة، يصعب أحيانًا الحكم بشكل قاطع على ما إذا كانت خطيرة أم آمنة. في كثير من الأحيان، نواجه منطقة رمادية واسعة. هذه التحديات أثارت حماسي بشدة في بدايات تطوير RSP، ولا تزال كذلك. لكن في الوقت نفسه، أدرك أن تطبيق هذه الاستراتيجية بوضوح وجعلها فعّالة حقًا أكثر تعقيدًا وصعوبة مما كنت أتخيل في البداية. سام ماكاندليش: المناطق الرمادية غير قابلة للتنبؤ تمامًا لأنها موجودة في كل مكان. لا تكتشف المشاكل إلا عند البدء في تطبيقها فعليًا. لذلك، هدفنا هو تطبيق كل شيء في أقرب وقت ممكن حتى نتمكن من تحديد المشاكل المحتملة بأسرع ما يمكن. داريو أمودي: عليك المرور بثلاث إلى أربع دورات لتحقيق الكمال. التكرار أداة قوية جدًا؛ نادرًا ما تنجح تمامًا من المرة الأولى. لذلك، إذا كانت المخاطر تتزايد، فأنت بحاجة إلى إكمال هذه الدورات في أقرب وقت ممكن، وليس في اللحظة الأخيرة. جاك كلارك: في الوقت نفسه، تحتاج أيضًا إلى إنشاء أنظمة وعمليات داخلية. بينما قد تتغير التفاصيل المحددة بمرور الوقت، فإن تنمية قدرات الفريق التنفيذية أمر بالغ الأهمية. توم براون: أنا مسؤول عن إدارة موارد الحوسبة في أنثروبيك. بالنسبة لي، يتضمن هذا التواصل مع أصحاب المصلحة الخارجيين، الذين لديهم وجهات نظر مختلفة حول وتيرة التطور التكنولوجي. في البداية، كنت أعتقد أيضًا أن التكنولوجيا لن تتطور بهذه السرعة، لكن وجهة نظري تغيرت، لذا فأنا أفهم هذا الأمر جيدًا. أجد برنامج RSP مفيدًا للغاية، خاصةً عند التواصل مع أولئك الذين يعتقدون أن التطور التكنولوجي سيكون بطيئًا نسبيًا. يمكننا أن نقول لهم: "لسنا بحاجة إلى اتخاذ تدابير أمنية مشددة حتى تصل التكنولوجيا إلى نقطة حرجة". "إذا قالوا: "لا أعتقد أن الأمور ستصبح ملحة لفترة طويلة"، يمكنني الرد: "حسنًا، إذًا لسنا بحاجة إلى اتخاذ تدابير أمنية مشددة في الوقت الحالي". هذا يجعل التواصل مع العالم الخارجي أكثر سلاسة. جاك كلارك: إذن، ما هي الطرق الأخرى التي أثر بها برنامج RSP على الجميع؟ سام ماكاندليش: الأمر كله يتعلق بالتقييم؛ كل فريق يقوم بالتقييمات. على سبيل المثال، فريق التدريب لديكم يقوم باستمرار بأعمال التقييم؛ نحاول تحديد ما إذا كان النموذج قد أصبح قويًا بما يكفي ليشكل خطرًا محتملاً. دانييلا أمودي: هذا يعني في الواقع أننا بحاجة إلى قياس أداء النموذج وفقًا لمعايير RSP، بما في ذلك التحقق من وجود مؤشرات قد تثير مخاوفنا. سام ماكاندليش: يُعدّ تقييم الحد الأدنى من قدرات النموذج أمرًا سهلاً نسبيًا، لكن تقييم الحد الأقصى لقدراته أمر في غاية الصعوبة. لذلك، استثمرنا قدرًا كبيرًا من الجهد البحثي في ​​محاولة للإجابة على أسئلة مثل: "هل يستطيع هذا النموذج أداء مهام خطيرة معينة؟ هل هناك أساليب لم نأخذها في الاعتبار، مثل رسم الخرائط الذهنية، أو أفضل الأحداث، أو استخدام أدوات معينة، والتي قد تُمكّن النموذج من أداء سلوكيات خطيرة للغاية؟" جاك كلارك: تُعدّ أدوات التقييم هذه مفيدة للغاية في عملية صنع السياسات. لأن "السلامة" مفهوم مجرد للغاية، فعندما أقول: "لدينا أداة تقييم تحدد ما إذا كان بإمكاننا تطبيق هذا النموذج،..."، "يمكننا حينها التعاون مع صانعي السياسات وخبراء الأمن القومي وخبراء المجال في مجالات المواد الكيميائية والبيولوجية والإشعاعية والنووية لوضع معايير تقييم دقيقة. بدون هذه الأدوات المحددة، قد يكون هذا التعاون مستحيلاً. ولكن بمجرد وجود معايير واضحة، يصبح الناس أكثر استعدادًا للمشاركة ومساعدتنا في ضمان دقتها. لذا، تلعب خطط السلامة التنظيمية دورًا بالغ الأهمية في هذا الصدد." دانييلا أمودي: "خطط السلامة التنظيمية مهمة جدًا بالنسبة لي أيضًا، وغالبًا ما تؤثر على عملي. ما أجده مثيرًا للاهتمام هو أنني أفكر في خطط السلامة التنظيمية بطريقة مميزة نوعًا ما، من حيث "نبرتها" وأسلوبها. لقد أجرينا مؤخرًا تعديلًا كبيرًا على نبرة خطط السلامة التنظيمية لأن النبرة السابقة كانت تقنية للغاية، بل وحتى صدامية إلى حد ما. لقد أمضيت وقتًا طويلاً في التفكير في كيفية بناء نظام يرغب الناس في المشاركة فيه." سيكون من الأفضل بكثير لو كانت خطط السلامة التنظيمية وثائق يفهمها جميع العاملين في الشركة بسهولة. على غرار أهدافنا ونتائجنا الرئيسية الحالية (OKRs). على سبيل المثال، خطط سلامة الأنظمة (RSPs)... ما هي الأهداف الرئيسية؟ كيف نعرف أننا حققناها؟ ما هو مستوى أمان الذكاء الاصطناعي الحالي (ASL)؟ هل هو ASL-2 أم ASL-3؟ إذا كان الجميع على دراية بما يجب التركيز عليه، يصبح من الأسهل تحديد المشكلات المحتملة. في المقابل، إذا كانت خطط سلامة الأنظمة معقدة للغاية ولا يفهمها إلا قلة من الناس، فإن فائدتها العملية تقل بشكل كبير. من الرائع أن نرى خطط سلامة الأنظمة تتجه نحو مزيد من الوضوح. الآن، أعتقد أن معظم موظفي الشركة، وربما الجميع، بغض النظر عن مناصبهم، يمكنهم قراءة هذه الوثيقة والتفكير: "هذا منطقي. أريدنا أن نطور الذكاء الاصطناعي وفقًا لهذه المبادئ، وأفهم سبب حاجتي للتركيز على هذه القضايا. إذا واجهت مشكلة في العمل، فأنا أعرف تقريبًا ما الذي يجب البحث عنه." نريد أن تكون خطط سلامة الأنظمة بسيطة بما يكفي بحيث يمكن لأي شخص يعمل في مصنع أن يحدد بسهولة: "يجب توصيل حزام الأمان هنا، لكنه ليس في مكانه." "هذا يسمح بالكشف عن المشكلات في الوقت المناسب." يكمن الحل في إنشاء آلية فعّالة للتغذية الراجعة تُمكّن من التواصل السلس بين القيادة ومجلس الإدارة والإدارات الأخرى داخل الشركة والفرق العاملة في مجال البحث والتطوير. أعتقد أن معظم المشاكل تنشأ عن ضعف التواصل أو سوء فهمه. سيكون من المؤسف حقًا أن تنشأ المشاكل لهذه الأسباب فقط، أليس كذلك؟ في نهاية المطاف، ما نحتاج إليه هو تطبيق هذه الأفكار عمليًا والتأكد من بساطتها وسهولة فهمها للجميع. قصة تأسيس شركة أنثروبيك: سام ماكاندليش: في الواقع، لم يكن أي منا ينوي في البداية تأسيس شركة. شعرنا فقط أنها مسؤوليتنا، وأنه يتعين علينا اتخاذ إجراء لأنها الطريقة الوحيدة لضمان سير تطوير الذكاء الاصطناعي في الاتجاه الصحيح، ولهذا السبب التزمنا بذلك. داريو أمودي: كانت فكرتي الأولية بسيطة: أردت فقط ابتكار واستكشاف أشياء جديدة بطريقة مفيدة. قادتني هذه الفكرة إلى مجال الذكاء الاصطناعي، ويتطلب البحث في هذا المجال دعمًا هندسيًا وتقنيًا كبيرًا، وفي النهاية، دعمًا ماليًا ضخمًا. مع ذلك، وجدتُ أنه بدون هدف واضح وخطة مُحكمة لتأسيس الشركة وإدارة بيئتها، تُنجز أمور كثيرة، لكنها تُكرر الأخطاء التي تُنفرني في قطاع التكنولوجيا. غالبًا ما تنبع هذه الأخطاء من الأشخاص أنفسهم، ومن نفس المواقف، ومن أنماط التفكير نفسها. لذا، أدركتُ في مرحلة ما أننا مُضطرون للقيام بذلك بطريقة جديدة تمامًا، وهو أمر كان شبه حتمي. جاريد كابلان: أتذكر عندما كنا في الدراسات العليا، كان لديك خطة شاملة لاستكشاف كيف يُمكن للبحث العلمي أن يُساهم في الصالح العام. أعتقد أن هذا يُشبه إلى حد كبير تفكيرنا الحالي. أتذكر أن لديك مشروعًا يُسمى "مشروع فانيفار" بهدف تحقيق ذلك. كنتُ أستاذًا آنذاك، وراقبتُ الوضع، وكنتُ مُقتنعًا بأن تأثير الذكاء الاصطناعي يتزايد بوتيرة سريعة للغاية. مع ذلك، وبسبب الذكاء الاصطناعي... متطلبات التمويل العالية للبحث، إلى جانب دوري كأستاذ فيزياء، جعلتني أُدرك أنني لا أستطيع دفع هذه التطورات من خلال البحث الأكاديمي وحده. أردتُ بناء مؤسسة تضم أشخاصًا جديرين بالثقة لضمان أن يسير تطوير الذكاء الاصطناعي في الاتجاه الصحيح. لكن بصراحة، لن أنصح أحدًا بتأسيس شركة، ولم تراودني هذه الرغبة قط. بالنسبة لي، هي مجرد وسيلة لتحقيق غاية. أعتقد أن مفتاح النجاح غالبًا ما يكمن في الاهتمام الصادق بتحقيق شيء ذي قيمة للعالم، ثم إيجاد أفضل طريقة لتحقيقه.

كيفية بناء ثقافة الثقة

دانييلا أمودي: كثيرًا ما أفكر في نقاط قوتنا الاستراتيجية كفريق، ومن بينها ما قد يبدو مفاجئًا ولكنه في غاية الأهمية، ألا وهو مستوى الثقة العالي بيننا. من الصعب جدًا جعل مجموعة كبيرة من الناس تتشارك مهمة مشتركة، ولكن في أنثروبيك، تمكنا من إيصال هذا الشعور بالمهمة بنجاح إلى عدد متزايد من الناس. ضمن هذا الفريق، بما في ذلك القيادة وجميع الأعضاء، يجمع الجميع هدف مشترك. مهمتنا واضحة ونقية، وهو أمر نادر في قطاع التكنولوجيا. أعتقد أن ما نسعى لتحقيقه يحمل معنىً خالصًا؛ لم يؤسس أيٌّ منا هذه الشركة برغبةٍ منه، بل شعرنا بضرورة ذلك. لم نكن لنستطيع مواصلة عملنا من حيث توقفنا، فكان علينا القيام بذلك بأنفسنا. جاك كلارك: في ذلك الوقت، مع ظهور GPT-3 والمشاريع التي شاركنا فيها جميعًا، مثل قوانين التوسع، رأينا بوضوح اتجاه تطور الذكاء الاصطناعي في عام 2020. أدركنا أنه إذا لم نتحرك بسرعة، فقد نصل قريبًا إلى نقطة تحول لا رجعة فيها. كان علينا التحرك لإحداث تأثير في هذا المجال. توم براون: أود أن أؤكد على ما قالته دانييلا؛ فأنا أؤمن حقًا بوجود مستوى عالٍ من الثقة داخل الفريق. جميعنا ندرك أننا انضممنا إلى هذا الفريق لأننا نريد المساهمة في العالم. كما التزمنا جميعًا بالتبرع بنسبة 80% من إيراداتنا... التبرع للقضايا التي تعزز التنمية الاجتماعية أمر يدعمه الجميع دون تردد. "نعم، بالطبع سنفعل ذلك." "هذا النوع من الثقة مميز ونادر للغاية." دانييلا أمودي: "أعتقد أن أنثروبيك شركة ذات نفوذ سياسي محدود للغاية. بالطبع، قد تختلف وجهة نظرنا عن وجهة نظر الشخص العادي، وأنا أذكّر نفسي بذلك باستمرار. أعتقد أن عملية التوظيف لدينا وخصائص أعضاء فريقنا تخلق ثقافة هنا ترفض بشكل طبيعي تقريبًا "السياسة المكتبية". داريو أمودي: "ثم هناك تماسك الفريق، وهو أمر بالغ الأهمية. سواء كان فريق المنتج، أو فريق البحث، أو فريق الثقة والأمن، أو فريق التسويق، أو فريق السياسات، فإن الجميع يعملون لتحقيق هدف الشركة نفسه. عندما تسعى أقسام مختلفة داخل الشركة إلى تحقيق أهداف مختلفة تمامًا، غالبًا ما يؤدي ذلك إلى الفوضى." بل إن الأمر يصبح أكثر غرابةً إذا شعروا بأن أقسامًا أخرى تُخرب عملهم. أعتقد أن أحد أهم إنجازاتنا هو الحفاظ بنجاح على اتساق الشركة ككل. مثل برنامج RSP... لعبت هذه الآلية دورًا حاسمًا. فقد ضمنت أنه داخل الشركة، لم يكن الوضع كما لو أن بعض الأقسام تُسبب مشاكل بينما تحاول أقسام أخرى حلها، بل كان كل قسم يؤدي وظيفته على أكمل وجه مع التعاون ضمن إطار موحد لنظرية التغيير. يقول كريس أولاه: انضممتُ في البداية إلى OpenAI لأنها منظمة غير ربحية حيث يُمكنني التركيز على أبحاث سلامة الذكاء الاصطناعي. ومع ذلك، أدركتُ تدريجيًا مع مرور الوقت أن هذا النموذج لم يكن مناسبًا لي تمامًا، مما أجبرني على اتخاذ بعض القرارات الصعبة. طوال هذه العملية، كنتُ أثق تمامًا في حكم داريو ودانييلا، لكنني لم أرغب في المغادرة. ولأنني لم أكن أعتقد أن إضافة المزيد من مختبرات الذكاء الاصطناعي سيكون بالضرورة أمرًا جيدًا للعالم، فقد كنتُ مترددًا جدًا في المغادرة. عندما قررنا أخيرًا المغادرة، كانت لا تزال لديّ تحفظات بشأن تأسيس شركة. كنتُ قد دافعتُ سابقًا عن إنشاء منظمة غير ربحية تُركز على أبحاث السلامة. ولكن في النهاية، لقد جعلنا النهج العملي والتقييم الصادق للقيود ندرك أن تأسيس شركة أنثروبيك هو أفضل طريقة لتحقيق أهدافنا. يقول داريو أمودي: "كان أحد الدروس الرئيسية التي تعلمناها مبكرًا هو: قلل من الوعود ونفذها. كن واقعيًا وواجه المفاضلات بشجاعة، لأن الثقة والمصداقية أهم من أي سياسة محددة". تقول دانييلا أمودي: "من الجوانب الفريدة في أنثروبيك المستوى العالي من الثقة والوحدة داخل الفريق. على سبيل المثال، لقد لفت انتباهي بشكل خاص إصرار مايك كريجر على عدم إصدار منتجات معينة لأسباب أمنية، بينما كان فيناي يناقش كيفية الموازنة بين احتياجات العمل لإنجاز المشروع. علاوة على ذلك، كان المهندسون في فريق الأمن التقني وفريق الاستدلال يناقشون أيضًا كيفية ضمان أن يكون المنتج آمنًا وفعالًا في آن واحد. يُعد هذا الهدف الموحد والنهج العملي من أكثر جوانب بيئة العمل جاذبية في أنثروبيك". يقول داريو أمودي: "تكمن ثقافة المؤسسة السليمة في قدرة الجميع على فهم وقبول المفاضلات التي يواجهونها معًا. العالم الذي نعيش فيه ليس مثاليًا؛ كل قرار يتطلب الأمر إيجاد توازن بين المصالح المختلفة، وهذا التوازن غالبًا ما يكون غير مُرضٍ تمامًا. مع ذلك، ينشأ نظام بيئي سليم عندما يواجه الفريق بأكمله هذه المفاضلات معًا في ظل هدف موحد، ويساهم في تحقيق الهدف العام من خلال أدوارهم المختلفة. سام ماكاندليش: بمعنى ما، إنه "سباق نحو القمة". نعم، إنه بالفعل "سباق نحو القمة". على الرغم من أنه لم يكن خيارًا خاليًا من المخاطر تمامًا، وقد تسوء الأمور، فقد اتفقنا جميعًا على: "هذا هو الخيار الذي نتخذه". جاك كلارك: لكن السوق عملي بطبيعته، فكلما زاد نجاح شركة أنثروبيك، زاد حافز الآخرين لمحاكاة ما جعلنا ناجحين. وعندما يرتبط نجاحنا ارتباطًا وثيقًا بعملنا الفعلي في مجال الأمن، فإنه يخلق نوعًا من "الجاذبية" داخل الصناعة، مما يدفع الشركات الأخرى إلى الانضمام إلى المنافسة. تمامًا كما طورنا أحزمة الأمان، يمكن للشركات الأخرى أن تحذو حذونا؛ إنه نظام بيئي سليم. داريو أمودي: مع ذلك، إذا قلت: "لن نطور هذه التقنية، ولا يمكنك القيام بذلك بشكل أفضل من أي شخص آخر". وإلا، فلن ينجح هذا النهج لأنكم لم تثبتوا جدوى المسار من الوضع الراهن إلى المستقبل. ما يحتاجه العالم، سواءً كان قطاعًا صناعيًا أو شركة، هو إيجاد سبيل لانتقال المجتمع من مرحلة "عدم وجود التكنولوجيا" إلى مرحلة "وجود التكنولوجيا بشكل فعّال وإدارتها بكفاءة من قِبل المجتمع". أعتقد أن السبيل الوحيد لتحقيق ذلك هو مواجهة هذه المفاضلات على مستوى كل شركة على حدة، وفي نهاية المطاف على مستوى القطاع ككل. عليكم إيجاد طريقة للحفاظ على قدرتكم التنافسية، بل وريادة القطاع في بعض المجالات، مع ضمان أمن التكنولوجيا. إذا استطعتم فعل ذلك، فسيكون جاذبيتكم للقطاع قوية للغاية. من البيئة التنظيمية إلى أفضل المواهب الساعية للانضمام إلى شركات مختلفة، وحتى تصورات العملاء، ستدفع كل هذه العوامل القطاع في الاتجاه نفسه. إذا استطعنا إثبات إمكانية تحقيق الأمن دون التضحية بالقدرة التنافسية - أي إيجاد حلول مربحة للجميع - فستتحفز الشركات الأخرى على الاقتداء بنا. يقول جاريد كابلان: "أعتقد أن هذا هو سبب نجاح شركات مثل RSP..." لهذا السبب تُعدّ هذه الآلية بالغة الأهمية. يمكننا أن نرى بوضوح اتجاه التطور التكنولوجي وندرك ضرورة توخي الحذر الشديد بشأن بعض القضايا، ولكن في الوقت نفسه، يجب علينا تجنب إطلاق إنذارات كاذبة والقول ببساطة: "يجب أن يتوقف الابتكار هنا". "نحن بحاجة إلى إيجاد طريقة لتمكين تقنية الذكاء الاصطناعي من تقديم تجارب مفيدة ومبتكرة وممتعة للعملاء، مع تحديد القيود التي يجب علينا الالتزام بها بوضوح - قيود تضمن أمن النظام وتقنع الشركات الأخرى بأنها قادرة أيضًا على النجاح والمنافسة معنا مع الحفاظ على الأمن." يقول داريو أمودي: "بعد بضعة أشهر، مع إطلاق RSP، حذت ثلاث من أبرز شركات الذكاء الاصطناعي حذوها بآليات مماثلة. كان بحث قابلية التفسير مجالًا آخر حققنا فيه إنجازات كبيرة." علاوة على ذلك، تعاونّا مع مؤسسات بحثية متخصصة في أمن الذكاء الاصطناعي، وهذا التركيز الشامل على الأمن له أثر بالغ. يقول جاك كلارك: "نعم، سرعان ما قلدت شركات أخرى فريق Frontier Red Team. وهذا أمر جيد؛ نأمل أن تتمكن جميع المختبرات من اختبار الثغرات الأمنية عالية الخطورة المحتملة." تقول دانييلا أمودي: "جاك..." كما ذكرنا سابقًا، يهتم العملاء أيضًا بالأمن اهتمامًا بالغًا. فهم لا يريدون أن يُولّد النموذج معلومات خاطئة أو أن يتم تجاوزه بسهولة من خلال القيود الأمنية. إنهم يريدون أن يكون النموذج مفيدًا وغير ضار، وكثيرًا ما نسمعهم يقولون في اتصالاتنا: "اخترنا Claude لأننا نعلم أنه أكثر أمانًا." "أعتقد أن التأثير على السوق هائل. إن قدرتنا على تقديم نموذج جدير بالثقة وموثوق به تضع ضغطًا كبيرًا على المنافسين في السوق." يقول كريس أولاه: "ربما يمكننا التوسع في نقطة داريو. هناك مقولة تقول إن أكثر السلوكيات أخلاقية هو "الفشل النبيل". أي أنه يجب عليك التضحية بأهداف أخرى من أجل الأمن، حتى لو كان ذلك بطريقة غير واقعية، لإثبات نقاء هدفك." لكنني أعتقد أن هذا النهج في الواقع يُؤدي إلى نتائج عكسية. أولًا، يُؤدي إلى تركز سلطة اتخاذ القرار في أيدي أولئك الذين لا يُقدّرون الأمن أو لا يُعطونه الأولوية. من ناحية أخرى، إذا سعيتَ جاهدًا لإيجاد طريقة لمواءمة الحوافز، ووضع القرارات الصعبة في موضع الدعم الأقوى واستنادًا إلى أقوى الأدلة، فبإمكانك حينها إطلاق ما يُسميه داريو "سباقًا تصاعديًا". في هذا السباق، لا يتم تهميش المهتمين بالأمن، بل يُجبر الآخرون على السير على خطاك والانضمام إلى السباق. بالنظر إلى مستقبل الذكاء الاصطناعي، جاك كلارك: إذن، ما الذي يُثير حماسكم جميعًا بشأن ما سنفعله لاحقًا؟ كريس أولاه: أعتقد أن هناك العديد من الأسباب التي تدعو إلى الحماس بشأن قابلية التفسير. أحد الأسباب واضحٌ لأسباب تتعلق بالسلامة، ولكن هناك سببٌ آخر، أراه مثيرًا أو ذا مغزى عاطفيًا بنفس القدر، وهو أنني أرى الشبكات العصبية جميلة جدًا، وفيها الكثير من الجمال الذي لم نره بعد. دائمًا ما نتعامل مع الشبكات العصبية كصندوق أسود ولا نهتم كثيرًا ببنيتها الداخلية، ولكن عندما نبدأ في التعمق فيها، نجد أنها مليئة ببنى مذهلة. يشبه هذا إلى حد ما الموقف الذي يتخذه الناس تجاه علم الأحياء. قد يعتقد البعض أن "التطور ممل؛ إنها مجرد عملية بسيطة تستمر لفترة طويلة ثم تُنتج الحيوانات." قد يعتقد البعض أن "التطور ممل؛ إنه مجرد عملية بسيطة تستمر لفترة طويلة ثم تُنتج الحيوانات." لكن في الواقع، كل حيوان ناتج عن التطور مليء بتعقيد وبنية مذهلة. وأعتقد أن التطور عملية تحسين، مثل تدريب الشبكة العصبية. داخل الشبكة العصبية، توجد أيضًا بنية معقدة كاملة تشبه "علم الأحياء الاصطناعي". إذا كنتَ على استعدادٍ للغوص فيها، فستجد أشياءً مذهلةً كثيرة. أعتقد أننا في بداية الطريق فقط لكشفها. إنها مذهلةٌ حقًا، فهناك الكثير مما ينتظرنا لاكتشافه. لقد بدأنا للتو في فتح أبوابها، وأعتقد أن الاكتشافات القادمة ستكون مثيرةً ورائعةً للغاية. أحيانًا أتخيل نفسي أدخل مكتبةً بعد عشر سنواتٍ من الآن وأشتري كتابًا دراسيًا عن قابلية تفسير الشبكات العصبية، أو كتابًا يتحدث حقًا عن "بيولوجيا" الشبكات العصبية، وسأجد فيه محتوىً مذهلًا من كل نوع. أعتقد أننا في السنوات العشر القادمة، أو حتى السنوات القليلة القادمة، سنبدأ حقًا في اكتشاف هذه الأشياء، وستكون رحلةً رائعةً ومثيرةً. جاك كلارك: قبل بضع سنوات، لو قال أحدهم: "ستُنشئ الحكومة وكالاتٍ جديدةً لاختبار وتقييم أنظمة الذكاء الاصطناعي، وستكون هذه الوكالات على قدرٍ عالٍ من المهنية والفعالية." قد لا تصدقون ذلك، لكنه يحدث بالفعل. يمكن القول إن الحكومات أنشأت "سفارة جديدة" للتعامل مع هذا النوع الجديد من التكنولوجيا، وأنا متحمسة لرؤية ما سيؤول إليه الأمر. أعتقد أن هذا يعني حقًا أن الدول قادرة على التعامل مع مثل هذه التحولات الاجتماعية، وليس الشركات فقط، ويسعدني أن أكون جزءًا من ذلك. دانييلا أمودي: "أنا متحمسة بالفعل لهذا الأمر، لكني أجد صعوبة في عدم الشعور بالحماس لمجرد تخيل ما يمكن أن يفعله الذكاء الاصطناعي للبشرية في المستقبل. حتى الدلائل على أن كلود يمكنه المساعدة في تطوير اللقاحات، وإجراء أبحاث السرطان، والأبحاث البيولوجية مذهلة. إنه لأمر مذهل ما يمكنه فعله الآن، وأنا متحمسة للغاية عندما أنظر إلى المستقبل لمدة ثلاث إلى خمس سنوات وأتخيل كلود وهو يحل بالفعل العديد من المشاكل الأساسية التي تواجه البشرية، وخاصة في المجال الصحي. بالعودة إلى أيام عملي في التنمية الدولية، كم كان سيكون رائعًا لو كان بإمكان كلود مساعدتي في عملي غير الفعال آنذاك." توم براون: شخصيًا، أستمتع حقًا باستخدام كلود في العمل. لذا، في الآونة الأخيرة، أصبحت أستخدم برنامج كلود بكثرة في المنزل، وكان التغيير الأكبر مؤخرًا في مجال البرمجة. قبل ستة أشهر، لم أكن أستخدم كلود لأي عمل متعلق بالبرمجة، ونادرًا ما كان فريقنا يستخدمه للبرمجة أيضًا، لكن هذا تغير بشكل ملحوظ الآن. على سبيل المثال، قدمت عرضًا تقديميًا الأسبوع الماضي في فعالية لشركة واي كومبيناتور. في البداية، سألت الحضور: "كم منكم يستخدم كلود للبرمجة الآن؟" فكانت النتيجة أن 95% من الحضور رفعوا أيديهم. رفع جميع الحاضرين تقريبًا أيديهم، وهو ما يتناقض تمامًا مع الوضع قبل أربعة أشهر. يقول داريو أمودي: "عندما أفكر في الأمور التي تثير اهتمامي، أفكر في المجالات التي ذكرتها سابقًا حيث يبدو أن هناك إجماعًا، لكن هذا الإجماع على وشك الانهيار، ومنها قابلية التفسير. أعتقد أن قابلية التفسير ليست فقط مفتاحًا لتوجيه أنظمة الذكاء الاصطناعي وضمان سلامتها، بل إنها تشمل أيضًا فهمًا عميقًا لمشاكل التحسين الذكي وكيفية عمل الدماغ البشري. لقد قلت سابقًا إن كريس أولاه سيفوز يومًا ما بجائزة نوبل في الطب." بصفتي عالمة أعصاب، ولأنني أظن أن العديد من الأمراض العقلية التي لم نجد لها حلاً بعد، كالفصام واضطرابات المزاج، مرتبطة بمشكلة نظامية أعمق. مع ذلك، ونظراً لتعقيد الدماغ البشري وصعوبة دراسته المباشرة، يصعب فهم هذه المشاكل فهماً كاملاً. ورغم أن الشبكات العصبية ليست تشبيهاً دقيقاً، إلا أنها أسهل تحليلاً وتفاعلاً من الدماغ البشري. بمرور الوقت، ستصبح الشبكات العصبية أداة تشبيه أفضل. ومن المجالات الأخرى ذات الصلة تطبيق الذكاء الاصطناعي في علم الأحياء. علم الأحياء موضوع بالغ التعقيد، ولأسباب عديدة، لا يزال الناس متشككين فيه، لكنني أعتقد أن هذا الإجماع على التشكيك بدأ يتلاشى. لقد رأينا بالفعل جائزة نوبل في الكيمياء تُمنح لبرنامج ألفافولد، وهو إنجاز رائع، وعلينا أن نسعى جاهدين لتطوير أدوات تساعدنا في إنشاء مئات من "ألفافولد". أخيرًا، هناك استخدام الذكاء الاصطناعي لتعزيز الديمقراطية. نحن قلقون من أنه إذا طُوّر الذكاء الاصطناعي بشكل خاطئ، فقد يصبح أداة للاستبداد. إذن، كيف يمكن أن يكون الذكاء الاصطناعي أداة لتعزيز الحرية وتقرير المصير؟ أعتقد أن هذا المجال ربما بدأ في وقت أبكر من المجالين السابقين، لكن أهميته لا تقل. جاريد كابلان: أعتقد أن هناك نقطتين على الأقل تُرددان نقاطك السابقة. الأولى هي أنني أعتقد أن العديد من الأشخاص انضموا إلى أنثروبيك لأن لديهم فضولًا كبيرًا بشأن علم الذكاء الاصطناعي. مع الذكاء الاصطناعي... مع التقدم التكنولوجي، أدركوا تدريجيًا أننا لا نحتاج فقط إلى دفع عجلة التطور التكنولوجي، بل وأيضًا لفهمها بشكل أعمق وضمان أمنها. أجد من المثير العمل مع عدد متزايد من الأشخاص الذين يشاركونني رؤية مشتركة لتطوير الذكاء الاصطناعي والمسؤولية تجاهه، وأعتقد أن العديد من التطورات التكنولوجية التي شهدها العام الماضي قد ساهمت بالفعل في هذا الإجماع. من جانب آخر، وبالعودة إلى القضايا العملية، أعتقد أننا أنجزنا الكثير من العمل في مجال أمن الذكاء الاصطناعي. ولكن مع التطورات الأخيرة، بدأنا نكتسب فهمًا أوليًا للمخاطر التي قد تشكلها الأنظمة المتقدمة للغاية. وهذا يسمح لنا بدراسة هذه المخاطر والتحقق منها بشكل مباشر من خلال دراسات قابلية التفسير وأنواع أخرى من آليات الأمان. وبهذه الطريقة، يمكننا اكتساب فهم أوضح للمخاطر المحتملة لأنظمة الذكاء الاصطناعي المتقدمة، مما سيمكننا من تطوير مهمتنا بطريقة أكثر علمية وتجريبية. لذلك، أنا متحمس للغاية للأشهر الستة القادمة حيث سنستفيد من فهمنا للمشاكل المحتملة في الأنظمة المتقدمة لمواصلة البحث وإيجاد طرق لتجنب هذه المخاطر.