Comment interdire efficacement l'araignée de Sogou d'explorer le contenu de votre site web？

Méthode 1 : Utilisation du fichier robots.txt

Pour empêcher l'araignée Sogou de parcourir le contenu de votre site Web, vous pouvez le faire en créant un fichier robots.txt. Ajoutez le contenu suivant dans le fichier :

User-agent: Sogou web spider

Disallow: /

User-agent: sogou spider

Disallow: /

User-agent: *

Disallow:

Comme il n'est pas sûr s'il s'agit de la toile d'araignée de Sogou ou du robot araignée Sogou, deux lignes ont été écrites. Les autres moteurs de recherche mentionnent généralement le nom de leur araignée dans des articles pertinents, mais ce n'est pas le cas pour Sogou, ce qui montre également son caractère. Après avoir téléversé le fichier dans le répertoire racine du site, il prendra effet. Cependant, il est important de noter que l'araignée Sogou ne respecte parfois pas le protocole du fichier robots.txt, il est donc possible de continuer à la parcourir malgré l'interdiction.

Méthode 2 : Utilisation du fichier .htaccess

En complément du fichier robots.txt, il est possible de créer un nouveau fichier .htaccess. Nommez le fichier .htaccess et ajoutez le contenu suivant à l'intérieur :

#bloquer l'araignée

order allow,deny

#Blocage Sogou

deny from 220.181.125.71

deny from 220.181.125.68

deny from 220.181.125.69

deny from 220.181.94.235

deny from 220.181.94.233

deny from 220.181.94.236

refuser de 220.181.19.84

autoriser tout

"+lt;/LIMIT>"

Téléchargez ce fichier dans le répertoire racine du site Web. Les adresses IP répertoriées sont des araignées sougous, elles changent fréquemment. Si de nouvelles adresses IP apparaissent, vous pouvez les ajouter à tout moment.