Как эффективно запретить паука Sogou на сканирование контента вашего сайта?

Метод один: использование файла robots.txt

Чтобы запретить паука Sogou индексировать содержимое вашего сайта, можно использовать файл robots.txt. Добавьте следующее содержимое в файл:

User-agent: Sogou web spider

Disallow: /

User-agent: sogou spider

Disallow: /

User-agent: *

Disallow:

Поскольку неизвестно, Sogou spider или Sogou web spider, поэтому написаны два варианта. Другие поисковые системы обычно указывают название своего паука в соответствующей статье, но Sogou этого не делает, что говорит об их подходе. После того как файл загружен в корневой каталог сайта, он будет активен. Однако стоит отметить, что паук Sogou иногда не соблюдает протокол файла robots.txt, поэтому существует вероятность его индексации, хотя он и запрещен.

Метод два: использование файла .htaccess

При сочетании с файлом robots.txt, можно создать файл .htaccess. Имя файла должно быть .htaccess, и внутри него добавьте следующее содержимое:

#блокировка паука

order allow,deny

#Блокировка Sogou

deny from 220.181.125.71

deny from 220.181.125.68

deny from 220.181.125.69

deny from 220.181.94.235

deny from 220.181.94.233

deny from 220.181.94.236

отклонить с 220.181.19.84

разрешить всем

</ LIMIT>

Загрузите этот файл в корневой каталог сайта. В перечисленных IP-адресах все это собака-пауки, их регулярно меняют, поэтому при необходимости можно добавить новый IP-адрес.