随着互联网的飞速发展,互联网的信息越来越多,互联网上的网站也越来越多,而大家都知道搜索引擎不可能爬行收录所有的网站页面信息,百度官方也明确表示蜘蛛只可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性,搜索引擎的目的就是尽量快而全的发现资源链接,提高抓取效率,只有这样蜘蛛才能尽量满足绝大部分网站。因为如此所以对于不同的网站搜索引擎的爬行收录情况都是不一样的,这就要对网站质量进行评级。对一个质量高的网站进行爬取肯定能获得更多的优质资源,能节省很多时间。百度对于新浪和对小网站的抓取程度肯