文件名称:
开源通用爬虫框架YayCrawler.zip
开发工具:
文件大小: 160mb
下载次数: 0
上传时间: 2019-07-18
详细说明： YayCrawler是一个基于WebMagic开发的分布式通用爬虫框架，开发语言是Java。我们知道目前爬虫框架很多，有简单的，也有复杂的，有轻 量型的，也有重量型的。您也许会问：你这个爬虫框架的优势在哪里呢？额，这个是一个很重要的问题！在这个开篇中，我先简单的介绍一下我这个爬虫框架的特 点，后面的章幅会详细介绍并讲解它的实现，一图胜千言：1、分布式：YayCrawler就是一个大哥（Master）多个小弟（Worker）的架构（这种结构才是宇宙的真理），当然大哥还有一个小秘（Admin）和外界交往。2、通用性：我们很多时候需要爬取不同网站的数据，各个网站的结构和内容都有很大的差别，基本上大部分人都是遇到一个网站写一份代码，没法做到工具 的复用。YayCraw ler就是想改变这种情况，把不同的部分抽象出来，用规则来指导爬虫做事。也就是说用户可以在界面上配置如何抓取某个页面的数据的 规则，等爬虫在爬取这个页面的时候就会用这个事先配置好的规则来解析数据，然后把数据持久化。3、可扩展的任务队列：任务队列由Redis实现，根据任务的状态有四种不同的任务队列：初始、执行中、成功、失败。您也可以扩展不同的任务调度算法，默认是公平调度。4、可定义持久化方式：爬取结果中，属性数据默认持久化到MongoDB，图片会被下载到文件服务器，当然您可以扩展更多的存储方式。5、稳定和容错：任何一个失败的爬虫任务都会重试和记录，只有任务真正成功了才会被移到成功队列，失败会有失败的原因描述。6、反监控组件：网站为了防止爬虫也是煞费苦心，想了一系列的监控手段来反爬虫。作为对立面，我们自然也要有反监控的手段来保障我们的爬虫任务，目前主要考虑的因素有：cookie失效（需要登陆）、刷验证码、封IP（自动换代理）。7、可以对任务设置定时刷新，比如隔一天更新某个网站的数据。作者博客地址：http://www.cnblogs.com/yuananyun 标签：爬虫
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
