本篇文章主要介绍了Python 用Redis简单实现分布式爬虫的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

Redis通常被认为是一种持久化的存储器关键字-值型存储，可以用于几台机子之间的数据共享平台。 连接数据库 注意：假设现有几台在同一局域网内的机器分别为Master和几个Slaver Master连接时host为localhost即本机的ip _db = redis.Reds(host='localhost', port=6379, db=0) Slaver连接时的host也为Master的ip，端口port和数据库db不写时为默认值6379、0 _db = redis.Redis(