كيفية تقييد تردد التقاط عنكبوت بيدو

استخدام وحدة ngx_http_limit_req_module الخاصة بـ nginx

لتقييد معدل الزحف لعنكبوت بايدو، يمكن استخدام وحدة ngx_http_limit_req_module الخاصة بـ nginx. هذه الوحدة يمكن أن تساعد في التحكم في معدل الوصول للعناكب وبالتالي تقليل الضغط على الخادم.

تكوين nginx

يلزم إجراء بعض الإعدادات في ملف تكوين nginx لتقييد معدل الزحف لعنكبوت بايدو. أضف المحتوى التالي في الإعدادات العامة:

limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m;

أضف التكوين التالي في خادم محدد:

limit_req zone=anti_spider burst=5 nodelay;if ($http_user_agent ~* "baiduspider") {set $anti_spider $http_user_agent;}

شرح المعلمات

في التكوين أعلاه، هناك بعض المعلمات التي تحتاج إلى توضيح:

rate=200r/m:يشير إلى أنه يمكن معالجة 200 طلب فقط في الدقيقة.

burst=5:يشير إلى أن الحد الأقصى للطلبات المتزامنة هو 5، أي يمكن معالجة 5 طلبات فقط في نفس الوقت.

nodelay:يعني أنه عند الوصول إلى الحد الأقصى للطلبات المتزامنة، يتم إرجاع خطأ 503 مباشرة.

جزء IF:يستخدم للتحقق مما إذا كان الطلب من عنكبوت بايدو، وإذا كان كذلك، يتم تخصيص متغير $anti_spider لقيامه بالتقييد.

من خلال تكوين ما سبق، يمكنك تقييد تردد الصيد لـ بيدو بشكل فعال، وتجنب وضع ضغط كبير على الخادم.