主要给大家介绍了关于Scrapy-Redis结合POST请求获取数据的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Scrapy-Redis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧

前言 通常我们在一个站站点进行采集的时候，如果是小站的话 我们使用scrapy本身就可以满足。 但是如果在面对一些比较大型的站点的时候，单个scrapy就显得力不从心了。 要是我们能够多个Scrapy一起采集该多好啊 人多力量大。 很遗憾Scrapy官方并不支持多个同时采集一个站点，虽然官方给出一个方法： **将一个站点的分割成几部分 交给不同的scrapy去采集** 似乎是个解决办法，但是很麻烦诶！毕竟分割很麻烦的哇 下面就改轮到我们的额主角Scrapy-Redis登场了！ 能看到这篇文章的小