行业动态基于Heritrix的网络爬虫实现
基于Heritrix的收集爬虫实现。
收集爬虫, 是一种可以依据网页之间的链接关系, 在Internet中主动抓取网页的法式, 它可以有层次的, 主动的遍历万维网信息空间。它经由过程HTTP协定来拜访网页, 同时, 经由过程跟踪链接来遍历全部Web空间。本体系的收集爬虫, 基于Heritrix实现。Heritrix是一个由Java开辟的、开源的Web收集爬虫框架。
本体系的收集爬虫为要包含:网页分类器 (依据主题策略将网页分为主题相干和主题不相干两类) 、信息提取器 (以主题相干网页作为提取对象, 提取文本信息和链接信息) 和网页抓取器 (抓取“筛选”过的网页) 。
