蜘蛛侠 分布式爬虫管理系统 介绍 SpiderMAN是基于Django + scrapyd + bootstrap的分布式爬虫管理系统，能实现分布式任务调度，对数据的监控等 功能 用户登录 管理服务器节点 管理爬虫，爬虫部署 查看数据统计 容器快速部署 用户登录 官员管理 查看所有上游服务器得状态，在上游上部署scrapy项目 官方清单 查看摘要详细情况 爬虫管理 可以启动，停止爬虫，选择爬虫 作业管理 查看爬虫的作业情况 日志查看 查看作业日志