文件名称:
weibospider：适用于微博的分布式爬虫，使用芹菜和请求进行构建-源码
开发工具:
文件大小: 100kb
下载次数: 0
上传时间: 2021-02-24
详细说明：项目亮点 :white_medium_star:
功能全面：包括了用户信息抓取，指定关键字搜索结果增量抓取，指定用户主页所有原始微博抓取，评论抓取和转发关系抓取等
数据全面： PC端展现出的数据量比移动端更加丰富。并且在其他类别同类项目对微博的简单分析，本项目做精细细致的工作，比如不同domain不同用户的解析策略，不同domain不同用户的主页分析策略等
稳定！项目可以长期稳定运行。
为了保证程序能长期稳定运行，数据所有的网络请求都是通过抓包手动分析的，未使用任何自动化工具，包括模拟登陆！从另一个方面来讲，抓取速度也是比较有保证的
通过合理的阈值设定，账号可以保证安全。但是不推荐用户使用自己的常用账号
即使账号不可用或登陆失败，项目都必须进行处理（智能冻结账号，出错重试等），以保证每次请求都是有效的，并及时把错误反馈给用户
通过大量的异常检测和处理，几乎捕获了所有的解析和抓取异常。编写的解析代码来获取足够全面的信息
项目很
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
