Bagaimana Cara Efektif Mencegah Laba-Laba Sogou Mengambil Konten Situs Anda?

Metode 1: Menggunakan file robots.txt

Untuk melarang spider Sogou merayapi konten situs web Anda, bisa dilakukan dengan membuat file robots.txt. Tambahkan konten berikut dalam file itu:

User-agent: Sogou web spider

Disallow: /

User-agent: sogou spider

Disallow: /

User-agent: *

Disallow:

Karena tidak pasti apakah itu sogou spider atau Sogou web spider, maka ditulis dua. Mesin pencari lain dalam artikel terkait biasanya akan menjelaskan nama spider mereka, tetapi Sogou tidak, ini juga menunjukkan salah satu sisi mereka. File akan berlaku setelah diunggah ke direktori root situs web. Namun, perlu diperhatikan bahwa spider Sogou terkadang tidak mematuhi protokol file robots.txt, sehingga melarangnya tetap mungkin merayapi.

Metode 2: Menggunakan file .htaccess

Dengan menggunakan file robots.txt, Anda dapat membuat file .htaccess baru. Nama file adalah .htaccess, dengan menambahkan konten berikut dalam file itu:

#block spider

order allow,deny

#Blokir Sogou

deny from 220.181.125.71

deny from 220.181.125.68

deny from 220.181.125.69

deny from 220.181.94.235

deny from 220.181.94.233

deny from 220.181.94.236

menolak dari 220.181.19.84

izinkan dari semua

& lt;/ LIMIT & gt;

Upload file ini ke direktori root situs web. Daftar alamat IP yang tercantum adalah laba-laba Sogou, yang sering berubah. Jika ada alamat IP baru, Anda dapat menambahkannya kapan saja.