网络爬虫策略
简介
在构建网络爬虫的过程中，首先需要不断抓取各种URL并将其存入待爬取队列中。接着，通过下载器下载这些URL，并将爬取的页面存放在网页库中等待建立索引，同时在已抓取的URL队列里也存放一份，以免重复抓取。
抓取策略
针对抓取不同网页的策略有以下几种选择：
- 广度优先遍历：将下载页面包含的链接直接添加到待抓取URL末尾。
- 深度优先遍历：先抓取一个页面的所有链接，再逐个深入抓取每个链接，直到完成。
这些策略的核心是优先抓取重要的页面，而非简单遍历网站。
PageRank算法
PageRank算法是一种衡量网页重要性的算法，主要考虑入链数量和质量。然而，在爬取过程中无法完全计算PageRank分数。因此，对已下载页面与待抓取列表中的页面进行综合考虑，最终得出重要程度高的页面优先抓取。
OPIC策略
OPIC是PageRank的升级版本，即在线页面重要性计算。其主要特点是实时计算页面重要性，先给所有URL初始分值，然后根据下载页面的分值分摊给该页面内链接，并清空该页面分值，待抓取列表中根据分值高低进行优先抓取。
大站优先策略
根据待抓取列表中URL的归类和域名级别判断，将权重较高的网站所属域名优先进行抓取。具体判断大站的方式可能因情况而异。