文件名称:
带有Web UI的分布式多用户Scrapy系统：基于Django的应用程序，允许以分布式方式创建，部署和运行Scrapy Spider-源码
开发工具:
文件大小: 5mb
下载次数: 0
上传时间: 2021-02-03
详细说明：带有Web UI的分布式多用户Scrapy系统
这是一个Django项目，允许用户通过Web界面创建，配置，部署和运行Scrapy Spiders。 该项目的目标是构建一个应用程序，该应用程序将允许多个用户编写自己的抓取脚本，并将其部署到一组工人中，以分布式方式进行抓取。 该应用程序允许用户通过Web界面执行以下操作：
创建一个Scrapy项目
添加/编辑/删除草率项目
添加/编辑/删除Scrapy项目管道
编辑链接生成器功能（有关更多信息，请参见下文）
编辑刮板功能（有关此内容，请参见下文）
将项目部署到工作机
在工作机上启动/停止项目
显示工作机，数据库和链接队列的联机状态
显示项目的部署状态
显示报废的数量
显示刮时项目中发生的错误数
显示项目的开始/停止日期和时间
建筑
该应用程序捆绑了用于MongoDB的Scrapy管道（用于保存被抓取的项目）和用于RabbitMQ的Scrapy调度程序（用于在工作人员之间分配链接）。 这些代码是从和获取并改编的。 这是运行应用程序所需的内容：
MongoDB服务器（可以是独立群集或分片群集，副本集未经测试）
RabbitMQ服务器
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
