أمازون تحقق في اتهامات إلغاء مواقع الويب دون موافقة

بدأت شركة Amazon Web Services تحقيقًا لتحديد ما إذا كانت شركة Perplexity AI تنتهك قواعدها، وفقًا لما ذكرته Wired. على وجه الدقة، يقال إن قسم السحابة في الشركة يبحث في مزاعم بأن الخدمة تستخدم زاحفًا، مستضافًا على خوادمها، يتجاهل بروتوكول استبعاد الروبوتات. يعد هذا البروتوكول أحد معايير الويب، حيث يضع المطورون ملف robots.txt على مجال يحتوي على تعليمات حول ما إذا كان بإمكان الروبوتات الوصول إلى صفحة معينة أم لا. يعد الالتزام بهذه التعليمات أمرًا طوعيًا، لكن برامج الزحف التابعة للشركات ذات السمعة الطيبة تحترمها بشكل عام منذ أن بدأ مطورو الويب في تطبيق المعيار في التسعينيات.

في مقال سابق، ذكرت Wired أنها اكتشفت جهازًا افتراضيًا كان يتجاوز تعليمات ملف robots.txt الخاص بموقعه على الويب. تمت استضافة هذا الجهاز على خادم Amazon Web Services باستخدام عنوان IP 44.221.181.252 الذي "يتم تشغيله بالتأكيد بواسطة Perplexity". وبحسب ما ورد قامت بزيارة عقارات Condé Nast الأخرى مئات المرات خلال الأشهر الثلاثة الماضية لاستخلاص محتواها أيضًا. وقالت وايرد إن صحف The Guardian وForbes وThe New York Times اكتشفت أيضًا أن البرنامج يزور منشوراتهم عدة مرات. للتأكد مما إذا كانت Perplexity تقوم بالفعل بجمع محتواها، قامت Wired بإدخال عناوين رئيسية أو أوصاف قصيرة لمقالاتها في برنامج الدردشة الآلي الخاص بالشركة. ثم استجابت الأداة بنتائج أعادت صياغة مقالاتها بشكل وثيق "مع الحد الأدنى من الإسناد".

ادعى تقرير حديث لرويترز أن Perplexity ليست شركة الذكاء الاصطناعي الوحيدة التي تتجاوز ملفات robots.txt لجمع المحتوى المستخدم لتدريب نماذج لغوية كبيرة. ومع ذلك، يبدو أن Wired زودت أمازون فقط بمعلومات حول زاحف Perplexity AI. أخبرتنا Amazon Web Services في بيان لها أن "شروط خدمة AWS تحظر الأنشطة المسيئة وغير القانونية، ويتحمل عملاؤنا مسؤولية الالتزام بهذه الشروط". "إننا نتلقى بشكل روتيني تقارير عن إساءة الاستخدام المزعومة من مجموعة متنوعة من المصادر ونعمل على إشراك عملائنا لفهم تلك التقارير." وأضاف المتحدث أيضًا أن قسم السحابة بالشركة أخبر Wired أنه كان يحقق في المعلومات التي قدمها المنشور لأنه يفعل جميع التقارير عن الانتهاكات المحتملة.

قالت المتحدثة باسم Perplexity، سارة بلاتنيك، لـ Wired إن الشركة استجابت بالفعل لاستفسارات أمازون ونفت أن برامج الزحف الخاصة بها تتجاوز بروتوكول استبعاد الروبوتات. وقالت: "إن PerplexityBot الخاص بنا - والذي يعمل على AWS - يحترم ملف robots.txt، وأكدنا أن الخدمات التي تسيطر عليها Perplexity لا تزحف بأي طريقة تنتهك شروط خدمة AWS". أخبرنا بلاتنيك أن أمازون نظرت في استفسارات Wired الإعلامية فقط كجزء من بروتوكول قياسي للتحقيق في التقارير المتعلقة بإساءة استخدام مواردها. يبدو أن الشركة لم تسمع من أمازون عن أي نوع من التحقيق قبل أن تتصل Wired بالشركة. ومع ذلك، اعترف Platnick لـ Wired بأن PerplexityBot سوف يتجاهل ملف robots.text عندما يقوم المستخدم بتضمين عنوان URL محدد في استعلام chatbot الخاص به.

كما نفى أرافيند سرينيفاس، الرئيس التنفيذي لشركة Perplexity، سابقًا أن تكون شركته "تتجاهل بروتوكول استثناءات الروبوتات ثم تكذب بشأنه". اعترف سرينيفاس لشركة Fast Company أن Perplexity تستخدم برامج زحف الويب التابعة لجهات خارجية بالإضافة إلى برامج زحف الويب الخاصة بها، وأن الروبوت الذي حددته Wired كان واحدًا منها.