上章回顾 上一章Python实战演练之scrapy初体验中讲到了scrapy项目的创建，爬虫的创建，以及数据的提取。 跨页爬取如何实现 不过这些都是建立在单页网页数据的爬取之中，很多时候我们需要跨很多页去爬取数据，这个时候该怎么实现呢？ 首先分析该网页的下一页和本页的区别 https://edu.csdn.net/courses/o280/p1 （第一页） https://edu.csdn.net/courses/o280/p2 （第二页） 可以明显判断出p后面的是页数，即修改该处即可获取下一页

上章回顾 上一章Python实战演练之scrapy初体验中讲到了scrapy项目的创建，爬虫的创建，以及数据的提取。 跨页爬取如何实现 不过这些都是建立在单页网页数据的爬取之中，很多时候我们需要跨很多页去爬取数据，这个时候该怎么实现呢？ 首先分析该网页的下一页和本页的区别 https://edu.csdn.net/courses/o280/p1 （第一页） https://edu.csdn.net/courses/o280/p2 （第二页） 可以明显判断出p后面的是页数，即修改该处即可获取下一页

上章回顾 前两章Python实战演练之scrapy初体验和Python实战演练之跨页爬取中讲到了scrapy项目的创建，爬虫的创建，数据的爬取以及跨页爬取。 数据导出 通过shell命令爬取的数据往往需要我们存放在某处 例如：执行如下命令来启用数据爬取 $ scrapy crawl crouses 将结果保存到文件中：格式：json、csv、xml、pickle、marshal等 $ scrapy crawl crouses -o fangs.json $ scrapy crawl crous