Wie kann man die Sogou-Spider effektiv daran hindern, den Inhalt Ihrer Website zu durchsuchen?

Methode 1: Verwendung der robots.txt-Datei

Um zu verhindern, dass der Sogou-Spider Ihren Website-Inhalt durchsucht, können Sie dies durch das Erstellen einer robots.txt-Datei erreichen. Fügen Sie folgenden Inhalt in die Datei ein:

User-agent: Sogou Web-Spider

Disallow: /

User-agent: sogou-Spider

Disallow: /

User-agent: *

Disallow:

Da es nicht sicher ist, ob es sich um den sogou-Spider oder den Sogou Web-Spider handelt, wurden zwei Zeilen geschrieben. Andere Suchmaschinen geben normalerweise in entsprechenden Artikeln ihren Spider-Namen an, aber Sogou tut dies nicht, was auch seine Eigenheiten zeigt. Nachdem Sie die Datei in das Stammverzeichnis Ihrer Website hochgeladen haben, wird sie wirksam. Beachten Sie jedoch, dass der Sogou-Spider manchmal nicht dem Protokoll der robots.txt-Datei folgt und daher trotz Verbots weiterhin durchsuchen kann.

Methode 2: Verwendung der .htaccess-Datei

In Verbindung mit der robots.txt-Datei können Sie eine weitere .htaccess-Datei erstellen. Der Dateiname lautet .htaccess und der Inhalt lautet wie folgt:

#blockieren von Spidern

Order Allow,Deny

#Sogou blockieren

Deny from 220.181.125.71

Deny from 220.181.125.68

Deny from 220.181.125.69

Deny from 220.181.94.235

Deny from 220.181.94.233

Deny from 220.181.94.236

deny from 220.181.19.84

allow from all

</LIMIT>

将该文件上传到网站的根目录。其中列出的IP地址都是搜狗蜘蛛的，因其经常更换，如果有新的IP地址，可以随时补充进去。