文件名称:
spiderman:基于scrapy-redis的通用分布式爬虫框架-源码
开发工具:
文件大小: 64kb
下载次数: 0
上传时间: 2021-03-19
详细说明：蜘蛛侠
基于scrapy-redis的通用分布式爬虫框架
目录
demo采集效果
爬虫元数据
集群模式
独立模式
附件下载
kafka实时采集监控
功能
自动建表
自动生成爬虫代码，只需编写少量代码即可完成分布式爬虫
自动存储元数据，分析统计和补爬都很方便
适合多站点开发，每个爬虫独立定制，互不影响
调用方便，可以根据传参自定义采集的页数以及启用的爬虫数量
扩展简易，可以根据需要选择采集模式，单机Standalone（替代）或分布式集群
采集数据落地方便，支持多种数据库，只需在spider中启用相关的管道
关系型
MySQL的
sqlserver
Oracle
PostgreSQL
sqlite3
非关系型
基础
mongodb
弹性搜索
高清文件
蜂巢
数据文件，例如csv
反爬处理简易，已封装各种反爬中间件
随机UserAgent
定制请求头
定制饼干池
定制代理ip
在
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
