ウェブサイトの異常状態の監視と処理

SEO作業では、Webサイトのログファイルを頻繁にチェックして、分析や判断を行いますが、数百個または数千個のウェブサイトを管理している場合、すべてのログを1つずつ確認しますか？

大規模なウェブサイトグループを処理する際には、通常、ウェブサイトの重要度に基づいて階層化された監視を行います。たとえば、重要なリソースサイトは、メインサイトと同様に分析およびメンテナンスされる可能性があり、他のサイトでは問題が発生したときにのみ分析およびメンテナンスされる場合もあり、また、いくつかのサイトは放置されることもあります。これは、ウェブサイトグループ作成の戦略に基づいて定義されるものであり、一般的なルールはありません。

一般的に、ウェブサイトグループに対して行うのは異常監視であり、異常を検知した場合に人が分析および処理を行います。通常はほとんどチェックしません。

異常状況の定義

ウェブサイトの運用状況を監視する際には、どのような状況を異常と見なすかを定義する必要があります。一般的に、私が個人的に定義する異常状況は、次の5つが主なものです：

スパイダーの訪問回数が異常：急にランクが下がり、スパイダーが訪問しなくなる、またはランクが下がりスパイダーが頻繁に訪問するなど。
网站流量异常：站群的流量一般不会出现大幅波动，若出现波动可能是有人采集或攻击网站。
404异常：即页面不存在异常，需要及时处理。
特殊页面流量异常：重要页面流量异常，比如淘客跳转页面，可以通过流量与成交率比较观察流量来源情况。
特殊词流量异常：若市场搜索量和描述点击率保持不变，特殊词流量即反映词排名情况。

监控方法

为了监控上述异常情况，我们可以为每个指标建立一个数据表，用ABCDE代替。然后建立一个自动执行的任务，将每个网站每天的数据保存到数据库。

在IIS下，推荐使用微软提供的Logparser工具，该工具能够使用SQL语句对日志进行处理。具体参数意义可通过搜索引擎自行查找。

具体使用方法

以第一个异常情况为例，可以通过以下命令来监控蜘蛛到访次数异常：

Logparser -i:iisw3c \

异常处理

进行预处理时，对当天数据和昨天数据进行对比，获取差值。设定阈值，超出阈值即视为异常。比如流量异常可用百分比判断，超过30%为异常；404异常可直接使用减法判断。

我使用一个C#程序来处理异常，比如通过对比最新的404数据来发现异常。当异常发生时，程序会通过邮件通知，方便及时处理。

其他建议

除了以上方法，还可以利用Logparser拆分日志，然后通过FTP命令发送到指定FTP地址，这样就能直接利用数据而不必每次手动处理。

总的来说，监控网站异常情况是维护网站安全和稳定运行的重要手段，及时发现和处理异常情况能够保障网站的正常运行和用户体验。