分布式爬虫架构，Scrapy分布式原理.scrapy，redis在每台从机Scrapy启动时都会首先判断当前Redis Request队列是否为空。 如果不为空，则从队列中取得下一个Request执行爬取。 如果为空，则重新开始爬取，第一台从机执行爬取向队列中添加Request。