文件名称:
*开源的分布式计算系统 JStorm.zip
开发工具:
文件大小: 18mb
下载次数: 0
上传时间: 2019-07-19
详细说明： JStorm 是一个分布式实时计算引擎。 JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个Worker 发生意外故障， 调度器立即分配一个新的Worker替换这个失效的Worker。 因此，从应用的角度，JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度， JStorm是一套类似MapReduce的调度系统。 从数据的角度，JStorm是一套基于流水线的消息处理机制。 实时计算现在是大数据领域中最火爆的一个方向，因为人们对数据的要求越来越高，实时性要求也 越来越快，传统的Hadoop MapReduce，逐渐满足不了需求，因此在这个领域需求不断。Storm组件和Hadoop组件对比StormHadoop角色NimbusJobTrackerSupervisorTaskTrackerWorkerChild应用名称TopologyJob编程接口Spout/BoltMapper/Reducer 优点 在Storm和JStorm出现以前，市面上出现很多实时计算引擎，但自Storm和JStorm出现后，基本上可以说一统江湖： 究其优点：开发非常迅速：接口简单，容易上手，只要遵守Topology、Spout和Bolt的编程规范即可开发出一个扩展性极好的应用，底层RPC、Worker之间冗余，数据分流之类的动作完全不用考虑扩展性极好：当一级处理单元速度，直接配置一下并发数，即可线性扩展性能健壮强：当Worker失效或机器出现故障时， 自动分配新的Worker替换失效Worker数据准确性：可以采用Ack机制，保证数据不丢失。 如果对精度有更多一步要求，采用事务机制，保证数据准确。 应用场景 JStorm处理数据的方式是基于消息的流水线处理， 因此特别适合无状态计算，也就是计算单元的依赖的数据全部在接受的消息中可以找到， 并且最好一个数据流不依赖另外一个数据流。因此，常常用于日志分析，从日志中分析出特定的数据，并将分析的结果存入外部存储器如数据库。目前，主流日志分析技术就使用JStorm或Storm管道系统， 将一个数据从一个系统传输到另外一个系统， 比如将数据库同步到Hadoop消息转化器， 将接受到的消息按照某种格式进行转化，存储到另外一个系统如消息中间件统计分析器， 从日志或消息中，提炼出某个字段，然后做count或sum计算，最后将统计值存入外部存储器。中间处理过程可能更复杂。 中文教程地址：https://github.com/alibaba/jstorm/wiki/JStorm-Chinese-Documentation 标签：* 分布式 hadoop
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
