¿Cómo evitar de forma efectiva que la araña de Sogou rastree el contenido de tu sitio web?

Método uno: Usar el archivo robots.txt

Para prohibir que la araña web de Sogou rastree el contenido de tu sitio web, puedes lograrlo mediante la creación del archivo robots.txt. Agrega el siguiente contenido al archivo:

User-agent: Sogou web spider

Disallow: /

User-agent: sogou spider

Disallow: /

User-agent: *

Disallow:

Dado que no se sabe si es sogou spider o Sogou web spider, se han incluido dos líneas. Otros motores de búsqueda suelen indicar el nombre de sus arañas en artículos relacionados, pero Sogou no lo hace, lo que también revela su naturaleza. Una vez subido el archivo al directorio raíz del sitio web, surtirá efecto. Sin embargo, es importante tener en cuenta que a veces la araña de Sogou no respeta el protocolo del archivo robots.txt, por lo que es posible que siga rastreando a pesar de la prohibición.

Método dos: Usar el archivo .htaccess

En conjunto con el archivo robots.txt, puedes crear un nuevo archivo .htaccess. El nombre del archivo será .htaccess, y debes agregar el siguiente contenido dentro del mismo:

#bloquear araña

order allow,deny

#Bloquear Sogou

deny from 220.181.125.71

deny from 220.181.125.68

deny from 220.181.125.69

deny from 220.181.94.235

deny from 220.181.94.233

deny from 220.181.94.236

denegar desde 220.181.19.84

permitir desde todo

\\u0026lt;/LÍMITE\\u0026gt;

将该文件上传到网站的根目录。其中列出的IP地址都是搜狗蜘蛛的，因其经常更换，如果有新的IP地址，可以随时补充进去。