其实Baidu spider在抓取进程中面临的是一个超等庞杂的收集情况.为了使体系可以抓取到尽可能多的有价值的资本，并坚持体系及现实情况中页面的一致性，同时不给网站体验造成压力，须设计多种庞杂的抓取策略。

下面作一简略介绍：

(1)抓取友爱性
互联网资本宏大的数目级，请求抓取体系尽可能地高效应用带宽，在有限的硬件和带宽资本下尽可能多地抓取到有价值的资本。这就造成另一个问题:消耗被抓网站的带宽造成拜访压力，假如水平过年夜，将直接影响被抓网站的正常用户拜访行动。是以，在抓取进程中就要进行必定的抓取压力掌握，到达既不影响网站的正常用户拜访又能尽量多地抓取到有价值资本的目标。
平日，最根本的是基于IP的压力掌握。因为假如基于域名，可能存在一个域名对多个IP(许多年夜网站)或多个域名对应统一个IP(小网站共享IP)的问题。现实中往往依据P及域名的多种前提进行压力调配掌握。同时，站长平台也推出了压力反馈对象，站长可以人工调配对本身网站的抓取压力，这时!百度spider将优先依照站长的请求进行抓取压力掌握。
对统一站点的抓取速度掌握一般分为两类:
其一，一段时光内的抓取频率；
其二，段时光内的抓取流量。
统一站点分歧的时光抓取速度也分歧。例如，夜晚抓取的可能就会快一些，也视具体站点类型而定，重要思惟是错开正常用户拜访岑岭，赓续调剂。对于分歧站点，也须要分歧的抓取速度。

(2)常用抓取返回码示意
下面简略介绍几种百度支撑的返回码。
①最常见的404代表“NOTFOUND”，以为网页已经掉效，平日将在库中删除，同时短期内假如spider再次发明这条URL.也不会抓取。
②503代表“Serviceunavailabl，以为网页暂时弗成拜访，平日网站暂时封闭，带宽有限等会发生这种情形。对于网页返回503百度spider不会把这条url直接删除，同时短期内将会重复拜访几回，假如网页已恢复，则正常抓取；假如持续503状况码，那么这条URL仍会被以为是掉效链接，从库中删除。
③403代表Forbidden，以为网页今朝制止拜访。假如是新URL，spider临时不抓取，短期内同样会重复拜访几回；假如是已收录UHL，不会直接删除，短期内同样重复访以为是掉效链接，从库中删除。问几回。假如网页正常拜访，则正常抓取；假如仍然制止拜访，那么这条URL也会被。
④301代表“Moved”以为网页重定向至新URL当碰到站点迁徙 域名改换、站点改版的情形时，推举应用301返回码，同田时应用站长平台网站改版对象，以削减改版对网站流量造成的丧失。

(3)多种URL重定向的辨认
互联网中的一部门网页因为各类各样的原因存在URL重定向状况，为了对这部门资本正常抓取，请求spider对URL重定向进行辨认断定，同时防止作弊行动。重定向可分为三类:htp30x重定向、metarefresh重定向和js重定向。别的，百度也支撑Canonical标签，在后果上也可以以为是一种间接的重定向。

(4)抓取优先级调配
因为互联网资本范围伟大以及变更敏捷，对于搜刮引擎来说，全体抓取到并合理地更新，坚持一致性几乎是弗成能的工作，是以请求抓取体系设计一套合理的抓取优先级调配策略，重要包含深度优先遍历策略、宽度优先遍历策略、pr优先策略、反链策略、社会化分享指点策略等。每个策略各有好坏，在现实情形中往往是多种策略联合应用，以到达最优的抓取后果。

(5)反复URL的过滤
spider在抓取进程中须要断定一个页面是否已经抓取过了，假如还没有抓取，再进行抓取网页的行动，并放在已抓取网址聚集中。断定是否已经抓取个中涉及最焦点的是快速查找并比较，同时于涉及URL归一化辨认。例如，一个URL中包括年夜量无效参数，而现实是统一个页面，这将视为统一个URL来看待。

(6)暗网数据的获取
互联网中存在着年夜量的搜刮引擎临时无法抓取到的数据，被称为暗网数据。一方面，许多网站的年夜量数据存在于收集数据库中，spider难以采取抓取网页的方法获得完全内容；另一方面，因为收集情况、网站自己不相符规范、孤岛等问题，也会造成搜刮引擎无法抓取。今朝，对于暗网数据的获取，重要思绪仍然是经由过程开放平台采取数据提交的方法来解决，如“百度站长平台”“百度开放平台”等。

(7)抓取反作弊
spider在抓取进程中往往会碰到所谓抓取黑洞，或者面对年夜量低质量页面的因扰这就请求抓取体系中同样须要设计一套完美的抓取反作弊体系。例如，剖析URL特点剖析页面年夜小及内容、剖析站点范围对应抓取范围等。Spider抓取体系是搜刮引擎数据起源的主要包管，这对于网站制造、网站扶植、网站设计者来说就是机会和冲破口，具体的做法就千差万别了。