上章回顾 从上一章Python实战演练之数据导出中最后导出的数据表中有None的存在，它们是免费课程，这不是我们所需要的内容，所以对其进行数据过滤，保证获取数据的完整。 开启EducsdnPipeline 在settings中开启EducsdnPipeline ITEM_PIPELINES = { # 为了做数据过滤，凡是要经过 MysqlPipeline的先经过 EducsdnPipeline # 先在EducsdnPipeline中进行过滤，MysqlPipeline就不会储

上章回顾 前两章Python实战演练之scrapy初体验和Python实战演练之跨页爬取中讲到了scrapy项目的创建，爬虫的创建，数据的爬取以及跨页爬取。 数据导出 通过shell命令爬取的数据往往需要我们存放在某处 例如：执行如下命令来启用数据爬取 $ scrapy crawl crouses 将结果保存到文件中：格式：json、csv、xml、pickle、marshal等 $ scrapy crawl crouses -o fangs.json $ scrapy crawl crous