搜刮引擎的工作进程异常庞杂，其工作进程年夜体可以分为三个阶段:

(1)网页收集:搜刮引擎蜘蛛经由过程链接进行爬行和抓取，将抓取到的页面存储到原始数据库中。

(2)预处置:搜刮引擎蜘蛛抓取到的页面不克不及直接进行用户查询排名，须要进行预处置。

(3)检索办事:用户输入查询词后，排名法式挪用索引数据库中的数据，将与用户搜刮词相干的页面展现给用户。

搜刮引擎是经由过程蜘蛛法式对互联网中的网页进行抓取和收集的，网页收集是搜刮引擎工作的第一步。懂得搜刮引擎的网页抓取机制，便于蜘蛛抓取更多的页面，使网站有更好的排名。

(1)什么是蜘蛛

收集爬虫，又被称为网页蜘蛛、收集机械人，是指依照必定的规矩，主动抓取互联网中网页的法式或者剧本。

(2)蜘蛛的工作方法

对于互联网中的网站来说，假如没有对个中的链接进行屏障设置，蜘蛛就可以经由过程链接在网站内或者网站间进行爬行和抓取。

因为互联网中的网站及页面链接构造异常庞杂，蜘蛛须要采用必定的爬行策略能力抓取更多的页面。

最简略的爬行策略有两种:一种是深度优先，另一种是广度优先。

广度优先:是指蜘蛛会先抓取肇端网页中链接的所有网页，然后再选择个中的一个链接网页，持续抓取在此网页中链接的所有网页。这是最常用的方法，因为这个办法可以让收集蜘蛛并行处置，进步其抓取速度。

深度优先:是指蜘蛛会从肇端页开端，一个链接一个链接跟踪下去，处置完这条线路之后再转入下一个肇端页，持续跟踪链接。

深度优先和广度优先平日是混杂应用的。如许既可以照料到尽量多的网站，也可以照料到一部门网站的内页，同时也会斟酌页面权重、网站范围、外链、更新等身分。并且搜刮引擎为了进步爬行和抓取的速度。都是用多个蜘蛛并发散布爬行。

依据这一道理，在优化网站时，应当合理设置网站中的链接，便于蜘蛛加倍顺遂的爬行网站中的各个页面。

(3)熟悉种子站点

一些互联网中的网站被蜘蛛非分特别重视， 蜘蛛的爬行也往往以这些网站作为肇端站点。平日情形下，这类站点具有必定的威望性和导航性，如新浪、hao123 等。这些具有威望性和导航性的网站称为种子站点。是以，在优化网站时，可以在种子站点中添加本身网站的链接，增长线 蛛抓取的进口。

(4)搜刮引擎的收集机制

如蛛对于网站的取频率受网站更新周期的影响，若网站按期定量更新，那么，蜘蛛会纪律进入网站中进行爬行和抓取。

蜘蛛每次爬行都邑把页面数据存储起来，假如第二次爬行发明页面与第一次收录的完整一样，解释页面没有更新，多次抓取后蜘蛛会对页面更新频率有所懂得。不常更新的页面，蜘蛛也就没有需要经常抓取。假如页面内容经常更新，蜘蛛就会加倍频仍地拜访这种页面，页面上涌现的新链接，也天然会被统蛛更快地抓取。

是以，在优化网站时，应当按期定量地更新内容，增长网站被抓取的频率。

(5) 文件存储

视索引擎蜘蛛抓取的网站制造页面存入原始数据库中。搜刮引擎会对原始数据库中的页面进行响应的处。