第一部分爬虫架构介绍 1.Spiders（自己书写的爬虫逻辑，处理url及网页等【spider genspider -t 指定模板  爬虫文件名 域名】),返回Requests给engine——> 2.engine拿到requests返回给scheduler（什么也没做）——> 3.然后scheduler会生成一个requests交给engine（url调度器）——> 4.engine通过downloader的middleware一层一层过滤然后将requests交给down