杰奇网站地图完整版,可以自动生成xml地图,html地图,非常实用,很全吧!而且速度很快! 温馨建议: 1.可以将web链接放到自己服务器后台执行,控制定时生成,如: 0 17 * * * wget "http://www.XXXX.com/map/xml.php?confirm=1" 1 17 * * * wget "http://www.XXXX.com/map/html.php?confirm=1" 则每天17点及17点01分定时生成xml地图及html地图 2.写入网站的robots.

JQuery+PHP 申请好百度map api就可以开始抓取了。 一个key百度每天限制10次请求，每次请求20条，每天能抓200万数据。

java根据自定义json格式规则抓取新浪新闻、百度新闻、微博动态内容的网络爬虫源码 例子中的源码功能： 导入Hbase的jar包即可直接返回Put对象数据、可以返回map对象数据、支持自定义json格式抓取指定网页的内容、抓取指定时间段内容、抓取指定关键内容、对新闻进行正负面分类、对时间的格式进行了统一的维护、可抓取指定（页数/条数）内容、原始json规则可抓取信息：标题、url链接、内容、时间、来源