新闻动态网页采集
网页采集作为当局网站网页在线归档的重要环节，就是应用相干对象，以既定的频率和方法，实时选择值得保留的当局网页内容。
网页采集的第一步是要肯定采集对象，当局网页归档保留的信息采集对象是域名中含有“gov.cn”的当局网站，为确保当局网页的采集质量，须要对目的网站进行评价，将那些信息范围年夜、原素性信息多、更新频仍的当局网站选定为采集对象。在肯定要采集的目的当局网站之后，还应依据现实需求选择响应的采集方法。完全性采集和选择性采集是今朝比拟常用的收集资本采集方法，它们各有优缺陷，为了填补其各自的不足，可以实现两种采集方法的优势互补，采取融会二者长处的混杂型采集方法，在对选定的当局网站中所有网页进行完全性采集的同时，经由过程人工干涉的方法对网页内容进行甄别，对个中有证据价值、汗青价值、研讨价值的主要网页，有选择性地进行深条理的频仍采集，如许既斟酌到了当局网页采集面的广度，同时又照料到了主要网页采集的深度。
而网页的采集与捕捉最终还须要依附响应的收集爬虫对象来实现，今朝面向网页存档的爬虫对象比拟多，个中Heritrix、HTTrack最为常用，可应用这些对象来有针对性地完成对目的当局网站网页的主动批量在线采集。
