新链接重要程度判断

上面介绍了影响Baidu spider正常抓取的原因，下面介绍Baidu spider的一些断定原则。在建库环节前，Baidu spider会对页面进行初步内容剖析和链接剖析，经由过程内容剖析决议该网页是否须要建索引库，经由过程链接剖析发明更多网页，再对更多网页进行抓取—一剖析是否建库&发明新链接的流程。理论上，Baidu spider会将新页面上所有能“看到”的链接都抓取回来。那么，面临浩瀚新链接，Bartender依据以下两个方面断定哪个更主要。