Cara Membatasi Frekuensi Penarikan Laba-laba Baidu

Menggunakan modul ngx_http_limit_req_module di nginx

Untuk membatasi frekuensi crawling laba-laba Baidu, Anda dapat menggunakan modul ngx_http_limit_req_module di nginx. Modul ini dapat membantu mengontrol frekuensi akses laba-laba sehingga mengurangi beban server.

Konfigurasi nginx

Diperlukan pengaturan pada file konfigurasi nginx untuk membatasi frekuensi crawling laba-laba Baidu. Tambahkan konten berikut dalam konfigurasi global:

limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m;

Tambahkan konfigurasi berikut dalam server tertentu:

limit_req zone=anti_spider burst=5 nodelay;if ($http_user_agent ~* 'baiduspider') {set $anti_spider $http_user_agent;}

Penjelasan Parameter

Dalam konfigurasi di atas, beberapa parameter perlu dijelaskan:

rate=200r/m:Menunjukkan bahwa hanya dapat menangani 200 permintaan per menit.

burst=5:Menunjukkan bahwa maksimum koneksi simultan adalah 5, artinya hanya dapat menangani 5 permintaan secara bersamaan.

nodelay:Menunjukkan bahwa jika mencapai maksimum koneksi simultan, langsung mengembalikan kesalahan 503.

Bagian IF:Digunakan untuk memeriksa apakah permintaan berasal dari laba-laba Baidu, jika ya, maka variabel $anti_spider diatur nilainya sehingga dapat dibatasi.

Dengan konfigurasi di atas, Anda dapat efektif membatasi frekuensi pengindeksan laba-laba Baidu, menghindari memberikan tekanan berlebih pada server.