Monitoreo y manejo de situaciones anómalas en el sitio web

Al hacer SEO, es común revisar los registros de log del sitio web, para realizar análisis y evaluaciones. Pero si tienes el control de cientos o miles de sitios web, ¿los revisarías uno por uno?

Cuando se trata de gestionar un gran número de sitios web, generalmente realizamos un monitoreo jerarquizado en función de la importancia de cada sitio. Por ejemplo, los sitios de recursos importantes pueden ser analizados y mantenidos como sitios principales, mientras que algunos sitios solo se analizan y mantienen cuando surgen problemas, y hay otros sitios que simplemente se dejan funcionar por sí solos. Esto se define en función de la estrategia para el trabajo en sitios web, no hay un enfoque universal.

Por lo general, suelo realizar un monitoreo de excepciones en los sitios web, es decir, analizar y gestionar manualmente cuando se detectan situaciones anómalas, y no revisarlos regularmente.

Definición de situaciones excepcionales

Al monitorear el funcionamiento de un sitio web, es necesario definir qué situaciones se consideran excepcionales. En general, las situaciones excepcionales que defino personalmente incluyen principalmente las siguientes 5:

Anomalías en la frecuencia de visitas de los rastreadores: como la pérdida repentina de posición que impide que los rastreadores visiten el sitio, o la frecuente visita de rastreadores debido a una pérdida de posiciones.
Tráfico anormal del sitio web: generalmente, el tráfico del sitio de la granja no sufre grandes fluctuaciones; si ocurren fluctuaciones, puede ser que alguien esté recopilando o atacando el sitio web.
Error 404: es decir, error de página no encontrada, que debe ser tratado de inmediato.
Tráfico anormal en páginas especiales: tráfico anormal en páginas importantes, como las páginas de redirección de afiliados, se puede observar la fuente de tráfico comparando el tráfico con la tasa de conversión.
Tráfico anormal de palabras clave específicas: si el volumen de búsqueda de mercado y la tasa de clics en la descripción se mantienen constantes, el tráfico de palabras clave específicas refleja la posición de la palabra clave.

Métodos de monitoreo

Para monitorear las situaciones anormales anteriores, podemos crear una tabla de datos para cada indicador, utilizando ABCDE para representarlos. Luego, establecer una tarea de ejecución automática para guardar los datos de cada sitio web en la base de datos todos los días.

En IIS, se recomienda utilizar la herramienta Logparser proporcionada por Microsoft, la cual permite procesar los registros con SQL. Puede buscar el significado específico de los parámetros a través de un motor de búsqueda.

Métodos de uso específicos

Tomando el primer escenario anormal como ejemplo, se puede monitorear el número de visitas de arañas de la siguiente manera:

Logparser -i:iisw3c "Select count(0) as hits Into A from xxx.log where cs(User-Agent) like '%spider%'" -o:SQL -server: 服务器IP -driver:"SQL Server" -database:数据库名 -username:sa -password:***

异常处理

进行预处理时，对当天数据和昨天数据进行对比，获取差值。设定阈值，超出阈值即视为异常。比如流量异常可用百分比判断，超过30%为异常；404异常可直接使用减法判断。

我使用一个C#程序来处理异常，比如通过对比最新的404数据来发现异常。当异常发生时，程序会通过邮件通知，方便及时处理。

其他建议

除了以上方法，还可以利用Logparser拆分日志，然后通过FTP命令发送到指定FTP地址，这样就能直接利用数据而不必每次手动处理。

总的来说，监控网站异常情况是维护网站安全和稳定运行的重要手段，及时发现和处理异常情况能够保障网站的正常运行和用户体验。