Cómo limitar la frecuencia de rastreo de la araña de Baidu

Utilizar el módulo ngx_http_limit_req_module de nginx

Para limitar la frecuencia de rastreo de la araña de Baidu, se puede utilizar el módulo ngx_http_limit_req_module de nginx. Este módulo puede ayudar a controlar la frecuencia de las visitas de la araña, aliviando la carga del servidor.

Configuración de nginx

Es necesario realizar algunas configuraciones en el archivo de configuración de nginx para limitar la frecuencia de rastreo de la araña de Baidu. Agregar el siguiente contenido en la configuración global:

limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m;

Añadir la siguiente configuración en un server específico:

limit_req zone=anti_spider burst=5 nodelay;if ($http_user_agent ~* "aiduspider") {set $anti_spider $http_user_agent;}

Explicación de los parámetros

En la configuración mencionada anteriormente, hay algunos parámetros que necesitan explicación:

rate=200r/m:Indica que solo se pueden procesar 200 solicitudes por minuto.

burst=5:Indica que la cantidad máxima de solicitudes simultáneas es 5, lo que significa que solo se pueden procesar 5 solicitudes al mismo tiempo.

nodelay:Indica que cuando se alcanza el número máximo de solicitudes simultáneas, se devuelve directamente un error 503.

Parte IF:Se utiliza para determinar si la solicitud proviene de la araña de Baidu; si es así, se asigna el valor de la variable $anti_spider para limitarla.

Con la configuración anterior, se puede limitar eficazmente la frecuencia de rastreo de la araña de Baidu para evitar ejercer una presión excesiva sobre el servidor.