Pemantauan dan Penanganan Kondisi Situs Web yang Tidak Normal

Melakukan SEO sering kali melibatkan pemeriksaan log log website, untuk melakukan analisis dan penilaian, tetapi jika Anda mengendalikan ratusan atau ribuan situs web, apakah Anda masih akan melihat log satu per satu?

Ketika mengelola sejumlah besar situs web, biasanya kita melakukan pemantauan berjenjang berdasarkan tingkat pentingnya situs web, misalnya situs sumber daya penting, kita mungkin akan menganalisis dan memelihara seperti situs utama, sementara untuk beberapa situs, kami hanya akan menganalisis dan memelihara saat ada masalah, dan ada juga situs yang kami biarkan berjalan sendiri, ini ditentukan berdasarkan strategi saat membuat grup situs, tidak ada aturan umum.

Secara umum, saya biasanya melakukan pemantauan kejanggalan pada grup situs, yaitu melakukan analisis manual saat menemukan kejanggalan, tidak melihat log secara teratur.

Definisi Situasi Kejanggalan

Ketika memantau kondisi situs web, kita perlu menentukan situasi mana yang dianggap sebagai kejanggalan. Secara umum, definisi situasi kejanggalan yang saya buat terutama meliputi 5 hal berikut:

  1. Jumlah kali laba-laba mengunjungi anomali: misalnya, penurunan peringkat tiba-tiba menyebabkan laba-laba tidak lagi mengunjungi, atau situasi di mana laba-laba sering mengunjungi setelah terjadi penurunan peringkat.
  2. Trafik Situs Tidak Normal: Trafik dari grup situs biasanya tidak akan mengalami fluktuasi besar, jika terjadi fluktuasi mungkin ada yang mengumpulkan data atau menyerang situs.
  3. 404 Tidak Ditemukan: yaitu keadaan ketika halaman tidak ditemukan, perlu segera ditangani.
  4. Trafik Halaman Khusus Tidak Normal: Trafik penting dari halaman khusus tidak normal, seperti halaman redirect afiliasi, dapat diamati sumber trafiknya dengan membandingkan trafik dengan tingkat konversi.
  5. Trafik Istilah Khusus Tidak Normal: Jika volume pencarian pasar dan tingkat klik deskripsi tetap, trafik istilah khusus mencerminkan kondisi peringkat kata kunci.

Metode Pemantauan

Untuk memantau kondisi tidak normal di atas, kita dapat membuat tabel data untuk setiap indikator dengan menggunakan ABCDE. Kemudian kita dapat membuat tugas yang berjalan otomatis, menyimpan data setiap situs web setiap hari ke dalam database.

Dalam IIS, disarankan untuk menggunakan alat Logparser yang disediakan oleh Microsoft, alat ini dapat memproses log menggunakan perintah SQL. Makna parameter spesifik dapat dicari menggunakan mesin pencari.

Metode Penggunaan Spesifik

Sebagai contoh dari situasi pertama yang tidak normal, Anda dapat memantau jumlah kunjungan laba-laba dengan perintah berikut:

Logparser -i:iisw3c "Select count(0) as hits Into A from xxx.log where cs(User-Agent) like '%spider%'" -o:SQL -server: 服务器IP -driver:"SQL Server" -database:数据库名 -username:sa -password:***

异常处理

进行预处理时，对当天数据和昨天数据进行对比，获取差值。设定阈值，超出阈值即视为异常。比如流量异常可用百分比判断，超过30%为异常；404异常可直接使用减法判断。

我使用一个C#程序来处理异常，比如通过对比最新的404数据来发现异常。当异常发生时，程序会通过邮件通知，方便及时处理。

其他建议

除了以上方法，还可以利用Logparser拆分日志，然后通过FTP命令发送到指定FTP地址，这样就能直接利用数据而不必每次手动处理。

总的来说，监控网站异常情况是维护网站安全和稳定运行的重要手段，及时发现和处理异常情况能够保障网站的正常运行和用户体验。