1. 宽度优先遍历策略（Breath First Search, BFS）：
这是一种基本策略，爬虫从种子URL开始，先抓取所有第一层的链接，再依次抓取第二层、第三层等，逐层深入。
它不考虑页面的重要性，而是按照链接的层次顺序进行抓取。
2. PageRank策略：
PageRank是Google的创始人之一拉里佩奇提出的一种算法，用于评估网页的重要性。
每个网页被赋予一个初始值，然后通过网页之间的链接关系进行迭代计算，重要网页的PageRank值更高。
抓取时，爬虫会优先考虑PageRank值高的网页。
3. OCIP策略（Online Page Importance Computation）：
作为PageRank的实时计算版本，OCIP策略避免了迭代计算的复杂性，能更快地评估网页重要性。
每下载一个网页，其重要性平均分配给链接出去的网页，自身重要性归零。
待抓取队列中的网页根据当前重要性排序，优先抓取分值*高的。
4. 大站优先策略：
这一策略认为大型或权重高的网站应优先被抓取。
有两种解释：一是直接根据网站权重分配优先级；二是哪个域名下的待抓取URL数量*多，就优先抓取该域名下的网页。
这意味着频繁更新且内容丰富的站点更可能被快速抓取。
5. 深度优先遍历策略（Depth First Search, DFS）：
与宽度优先不同，深度优先策略沿着链接深入到*末端，再返回并探索其他路径。
这种策略适合发现深层次的内容，但可能较慢发现广度上的新页面。
在实际应用中，爬虫可能会结合多种策略，同时考虑URL的更新频率、网页的权重、以及是否已抓取等因素，来动态调整抓取顺序，以达到*优的抓取效率和覆盖率。为了提高效率，搜索引擎不会每次新增URL就重新计算优先级，而是等到一定数量的URL累积后才进行批量计算和排序。
