تتهم Cloudflare شركة Perplexity AI باستخدام برامج الزحف الخفية لتجاوز حجب مواقع الويب - مما أدى إلى حملة قمع كبرى لاستخراج الذكاء الاصطناعي

وجهت شركة Cloudflare اتهامات خطيرة ضد شركة Perplexity AI، وهي شركة ناشئة في مجال البحث بالذكاء الاصطناعي تبلغ قيمتها 18 مليار دولار، مدعية أن الشركة استخدمت تكتيكات خفية لجمع المحتوى من مواقع الويب التي تحظر روبوتاتها بشكل صريح.

وقد أدت هذه الاتهامات إلى تصعيد كبير في حرب صناعة التكنولوجيا ضد استخراج البيانات سراً من قبل شركات الذكاء الاصطناعي - ولفتت الانتباه العاجل لأصحاب المواقع الإلكترونية والناشرين والمدافعين عن الحقوق الرقمية على حد سواء.

اندلعت الجدل بعد أن أبلغ عملاء Cloudflare أن روبوتات Perplexity استمرت في الوصول إلى مواقعهم على الرغم من تنفيذ توجيهات robots.txt وقواعد جدار الحماية المحددة لحظر الشركة.

من أجل تأكيد شكوكهم، أجرى مهندسو Cloudflare تجارب خاضعة للرقابة، حيث أنشأوا نطاقات بملفات robot.txt مقيدة تحظر كل الوصول الآلي.

ومع ذلك، عندما استفسروا عن الذكاء الاصطناعي لـ Perplexity، فقد أظهر معلومات مفصلة حول المحتوى المستضاف على المجالات المقيدة، مما يثبت بوضوح أن برامج الزحف الخاصة بـ Perplexity AI كانت تتجنب الحظر بشكل نشط.

الأمر الأكثر إثارة للدهشة هو أن فريق هندسة Cloudflare الذي أجرى الاختبار لاحظ أيضًا أن Perplexity كان ينشر برامج زحف خفية تخفي هويتها عن طريق محاكاة المتصفحات السائدة مثل Google Chrome على نظام macOS.

قامت هذه البرامج الزاحفة بتدوير عناوين IP، وغالبًا ما كانت تعمل من أنظمة مستقلة متعددة، وأصدرت طلبات من عناوين IP خارج النطاقات المعلنة علنًا لـ Perplexity.

وقد قدرت شركة Cloudflare أن حجم هذه البرامج الزاحفة "غير المعلنة" أضاف ما بين 3 إلى 6 ملايين طلب إضافي يوميًا إلى حركة المرور المعلنة للشركة، مما أثر على عشرات الآلاف من النطاقات.

ردّ Cloudflare السريع وتداعياته على الصناعة

استجابت Cloudflare بإلغاء إدراج Perplexity من برنامج الروبوتات التي تم التحقق منها وإطلاق تدابير دفاعية جديدة.

أصبحت جميع النطاقات الجديدة المسجلة لدى Cloudflare محمية الآن بشكل افتراضي من أدوات الزحف غير المصرح بها للذكاء الاصطناعي - وهي الخطوة التي أطلقت عليها الشركة اسم "يوم استقلال المحتوى".

كما أصدرت الشركة قواعد تعتمد على التوقيع تستهدف تكتيكات التخفي الخاصة بـ Perplexity، وهي قواعد مجانية لجميع عملاء Cloudflare، كما تقوم بتجربة أدوات متقدمة مثل "AI Labyrinth".

تعمل هذه الميزة على اصطياد الروبوتات المارقة في محتوى وهمي، وقد يسمح نظام "الدفع مقابل الزحف" القادم للناشرين بتحقيق الدخل بشكل مباشر والتحكم في كيفية الوصول إلى المحتوى الخاص بهم بواسطة أدوات الذكاء الاصطناعي.

انضمت دور النشر والمنصات الرائدة، بما في ذلك وكالة أسوشيتد برس، وتايم، وبزفيد، وريديت، ويونيفرسال ميوزيك جروب، إلى الحركة المتنامية لمنع برامج الزحف غير المرغوب فيها التي تعمل بالذكاء الاصطناعي، حيث أعرب منشئو المحتوى عن إحباطهم المتزايد إزاء جمع البيانات غير المصرح به.

وفي أعقاب الاتهامات، رفضت شركة Perplexity AI النتائج باعتبارها "عرض مبيعات" لشركة Cloudflare، وأكدت أنها لم تتمكن من الوصول إلى أي محتوى في تحد لحظر الموقع.

الصناعة عند نقطة تحول

لا يقتصر الخلاف على شركة ناشئة واحدة. فقد أصبح ماثيو برينس، الرئيس التنفيذي لشركة كلاود فلير، منتقدًا صريحًا لممارسات كشط البيانات باستخدام الذكاء الاصطناعي "غير المستدامة"، مشيرًا إلى نسب مُدمرة: إذ تُحيل جوجل زائرًا واحدًا لكل 18 صفحة من المحتوى الذي تفحصه، بينما نسب شركات الذكاء الاصطناعي أسوأ بكثير - تصل أحيانًا إلى زيارة إحالة واحدة لكل 1500 إلى 60 ألف صفحة مُكشط.

وقد أثار هذا الوضع نقاشا متجددا حول مستقبل محتوى الويب، وإيرادات النشر، والآليات المناسبة لمراقبة وصول الذكاء الاصطناعي.

تقارن Cloudflare سلوك Perplexity مع OpenAI، والتي تدعي أنها تحترم تفضيلات الموقع بشكل صحيح وتتوقف عن الزحف عند توجيهها.

الرسالة التي تريد الشركة توجيهها واضحة: يجب أن ينتهي عصر جمع البيانات خلسةً ليحل محله الشفافية والموافقة والتعويض العادل.

إن هذه النقطة الساخنة تجبر عالم التكنولوجيا على التعامل مع أسئلة صعبة حول حقوق البيانات، وتطوير الذكاء الاصطناعي، والأساس الاقتصادي للنشر عبر الإنترنت.

مع تزايد تكامل الذكاء الاصطناعي في عمليات البحث واكتشاف المحتوى والتجارب الرقمية، فمن المرجح جدًا أن تؤثر تداعيات النزاع بين Cloudflare وPerplexity على كيفية دفاع المواقع الإلكترونية عن محتواها - وكيفية بناء الشركات الناشئة في مجال الذكاء الاصطناعي لمنتجاتها - خلال المرحلة التالية من الاقتصاد الرقمي.