分布式搜寻器 项目简介 爬虫系统，是对海量的分散的互联网数据进行采集的系统，是搜索引擎系统的基础。应大数据的需求，分布式爬虫系统是解决传统爬虫出现的无法对网页数据信息的归类和组织的问题。分布式爬虫，对同一个网站的同类数据，进行结构化。同时，能利用分布式的软件设计方法，实现爬虫的高效采集。 需求分析 分布式爬虫---通过分布式调度，提高整体效率，同时保证高可用性，具有一定的容错性，具有自动恢复，备份的功能。 自动结构化---对于具有相同模板的URL集合，能够自动提取数据。对于包含正文的网页，能够提