Como limitar a frequência de rastreamento da aranha do Baidu

使用nginx的ngx_http_limit_req_module模块

Para limitar a frequência de rastreamento da aranha do Baidu, pode-se usar o módulo ngx_http_limit_req_module do nginx. Este módulo ajuda a controlar a frequência de acesso da aranha, aliviando assim a carga do servidor.

Configurar nginx

Algumas configurações precisam ser feitas no arquivo de configuração do nginx para limitar a frequência de rastreamento da aranha do Baidu. Adicione o seguinte conteúdo na configuração global:

limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m;

Adicione a seguinte configuração em um determinado servidor:

limit_req zone=anti_spider burst=5 nodelay;if ($http_user_agent ~* "/baiduspider/") {set $anti_spider $http_user_agent;}

Explicação dos parâmetros

Na configuração acima, alguns parâmetros precisam ser explicados:

rate=200r/m:Indica que apenas 200 solicitações podem ser processadas por minuto.

burst=5:Indica o máximo de 5 solicitações simultâneas que podem ser processadas.

nodelay:Indica que quando o máximo de solicitações simultâneas for atingido, será retornado diretamente o erro 503.

Parte IF:Usado para verificar se a solicitação vem da aranha do Baidu e, se sim, atribui a variável $anti_spider para restringi-la.

Através da configuração acima, é possível limitar efetivamente a frequência de rastreamento do Baidu Spider, evitando sobrecarregar o servidor.