ウェブクローラーストラテジー

简介

在构建网络爬虫的过程中，首先需要不断抓取各种URL并将其存入待爬取队列中。接着，通过下载器下载这些URL，并将爬取的页面存放在网页库中等待建立索引，同时在已抓取的URL队列里也存放一份，以免重复抓取。

抓取策略

针对抓取不同网页的策略有以下几种选择：

• 广度优先遍历：将下载页面包含的链接直接添加到待抓取URL末尾。
• 深度优先遍历：先抓取一个页面的所有链接，再逐个深入抓取每个链接，直到完成。

这些策略的核心是优先抓取重要的页面，而非简单遍历网站。

PageRank算法

PageRank算法是一种衡量网页重要性的算法，主要考虑入链数量和质量。然而，在爬取过程中无法完全计算PageRank分数。因此，对已下载页面与待抓取列表中的页面进行综合考虑，最终得出重要程度高的页面优先抓取。

OPIC策略

OPICはPageRankのアップグレードバージョンであり、オンラインページ重要性計算を意味します。その主な特徴は、ページの重要性をリアルタイムで計算し、すべてのURLに初期値を与え、ダウンロードされたページの値をそのページ内のリンクに割り当て、そのページの値をクリアすることで、取得リストを基に値が高い順に優先的に取得します。

大サイト優先方針

取得リスト内のURLのカテゴリとドメインレベルにより、重みの高いウェブサイトの所属ドメインを優先的に取得します。具体的には大サイトを判断する方法は状況によって異なります。