注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 走近去计算 王鹏

  2. 第一篇 云计算基础 　　 第1章 从历史中走过来的云计算 　　 1.1 朴素的计算机 　　 1.1.1 算筹 　　 1.1.2 象形文字民族的计算工具——算盘 　　 1.1.3 符号文字民族的计算工具——计算尺 　　 1.2 计算技术的第一次触电 　　 1.2.1 第一台电子计算机的诞生 　　 1.2.2 计算机的特效减肥药——晶体管 　　 1.2.3 现代计算机腾飞的翅膀——集成电路 　　 1.3 计算机飞入寻常百姓家 　　 1.3.1 破茧而出的新生——微机 　　 1.3.2 给计算机嵌入

  3. 所属分类：专业指导

    • 发布日期：2011-11-27
    • 文件大小：20971520
    • 提供者：jason819

  1. 实战Hadoop：开启通向云计算的捷径

  2. 第1章 神奇的大象——Hadoop 1.1 初识神象 1.2 Hadoop初体验 1.2.1 了解Hadoop的构架 1.2.2 查看Hadoop活动 1.3 Hadoop族群 1.4 Hadoop安装 1.4.1 在Linux系统中安装Hadoop 1.4.2 在Windows系统中安装Hadoop 1.4.3 站在象背上说“hello” 1.4.4 Eclipse下的Hadoop应用开发 参考文献 第2章 HDFS——不怕故障的海量存储 2.1 开源的GFS——HDFS 2.1.1 设计前

  3. 所属分类：其它

    • 发布日期：2013-07-31
    • 文件大小：61865984
    • 提供者：jsntghf

  1. Oozie安装部署及任务定义说明

  2. 目录 Oozie 部署 1 1、Maven 安装 1 3、整合Oozie和Hadoop 8 Oozie提交MapReduce任务事例 8 1上传lib和wf到hdfs上 8 2修改job.properties文件 8 3：修改workflow.xml 9 4：执行oozie客户端命令执行mapreduce 10 配置oozie工作流 10 Workflow.xml中控制流程节点说明 10 action节点 10 start节点 11 end节点 11 Kill节点 12 decision节点

  3. 所属分类：Java

    • 发布日期：2014-09-26
    • 文件大小：37888
    • 提供者：linqingrui1985

  1. Hadoop技术内幕 深入理解MapReduce架构设计与实现原理.pdf

  2. Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 目录 前言 第一部分 基础篇 第1章 阅读源代码前的准备 1.1 准备源代码学习环境 1.1.1 基础软件下载 1.1.2 如何准备Windows环境 1.1.3 如何准备Linux环境 1.2 获取Hadoop源代码 1.3 搭建Hadoop源代码阅读环境 1.3.1 创建Hadoop工程 1.3.2 Hadoop源代码阅读技巧 1.4 Hadoop源代码组织结构 1.5 Hadoop初体验 1.5.1 启动Hadoop 1

  3. 所属分类：Java

    • 发布日期：2015-11-24
    • 文件大小：48234496
    • 提供者：yuan_xw

  1. map reduce 源码分析流程

  2. map reduce的全部执行流程，源码分析视图

  3. 所属分类：Hadoop

    • 发布日期：2017-08-21
    • 文件大小：314368
    • 提供者：whr_yy

  1. 新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

  2. 第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和伪分布式安装.avi 06-hadoop版本选择和伪分布式安装2.avi 07-hdfs&mapreduce;测试.avi 08-hdfs的实现机制初始.avi 09-hdfs的shell操作.avi 10-

  3. 所属分类：Java

    • 发布日期：2018-07-20
    • 文件大小：226
    • 提供者：jintaocccq

  1. java大数据作业_5Mapreduce、数据挖掘

  2. 课后作业 1.请找出日志中的访问者ip，访问时间，来源地址，访问 地址 日志内容如下： 192.168.170.111—[20/Jan/2014:16:35:27 +0800] “GET /examples/servlets/images/code.gif HTTP/1.1” 200 292 “http://192.168.170.152/examples/servlets/” “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K

  3. 所属分类：Java

    • 发布日期：2018-01-24
    • 文件大小：16384
    • 提供者：xiaoli_shen

  1. 基于Hadoop的C4.5决策树分类算法并行化

  2. 通过研究各种决策树分类算法的并行方案后，并行设计C4.5算法。同时根据Hadoop云平台的MapReduce编程模型，详细描述C4.5并行算法在MapReduce编程模型下的实现及其执行流程。最后，对输入的海量文本数据进行分类，验证了算法的高效性和扩展性。

  3. 所属分类：其它

    • 发布日期：2020-10-17
    • 文件大小：285696
    • 提供者：weixin_38616033

  1. MapReduce作业运行流程

  2. 基本概念 MapReduce采用了Master/Slave架构，包括一个Master和若干个Slave，Master上运行JobTracker，Slave运行TaskTracker JobTracker：初始化作业，分配作业，TaskTracker与其进行通信，协调监控整个作业 TaskTracker：定期与JobTracker通信，执行Map和Reduce任务 HDFS：保存作业的数据、配置、jar包、结果 作业运行流程 1.在客户端启动一个作业。 2.向JobTracker请求一个Job

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：288768
    • 提供者：weixin_38737176

  1. Hadoop中MapReduce基本案例及代码（五）

  2. 前四节提供了几个小案例 下面详细介绍MapReduce中Map任务Reduce任务以及MapReduce的执行流程。 Map任务： 读取输入文件内容，解析成key,value对。对输入文件的每一行，解析成key,value对。每一个键值对调用一次map函数。 写自己的逻辑，对输入的key，value处理，转换成新的key,value输出。 对输出的key,value进行分区。 对相同分区的数据，按照key进行排序（默认按照字典排序）、分组。相同key的value放在一个集合中。 （可选）分组后对

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：370688
    • 提供者：weixin_38530202

  1. MapReduce执行流程和Shuffle过程

  2. 本节将对 Hadoop MapReduce 的工作机制进行介绍，主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解，可以使程序开发者更合理地使用 MapReduce 解决实际问题。 Hadoop MapReduce作业执行流程 整个 Hadoop MapReduce 的作业执行流程如图 1 所示，共分为 10 步。 图 1  Hadoop MapReduce的作业执行流程 1. 提交作业 客户端向 JobTrack

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：198656
    • 提供者：weixin_38744270

  1. MapReduce执行流程

  2. MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务，将任务输出保存在本地5.master调度worker执行reduce任务，reduceworker读取map任务的输出文件6.执行reduce任务，将任务输出保存到HDFS若对流程细节进行深究，可以得到这样一张流程图从生命周期的角度来看，mapreduce

  3. 所属分类：其它

    • 发布日期：2021-03-04
    • 文件大小：152576
    • 提供者：weixin_38705874

  1. MapReduceV1：JobTracker端Job/Task数据结构

  2. 我们基于Hadoop1.2.1源码分析MapReduceV1的处理流程。在MapReduce程序运行的过程中，JobTracker端会在内存中维护一些与Job/Task运行相关的信息，了解这些内容对分析MapReduce程序执行流程的源码会非常有帮助。在编写MapReduce程序时，我们是以Job为单位进行编程处理，一个应用程序可能由一组Job组成，而MapReduce框架给我们暴露的只是一些Map和Reduce的函数接口，在运行期它会构建对应MapTask和ReduceTask，所以我们知道一

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：1048576
    • 提供者：weixin_38529951

  1. 分布式计算框架MapReduce

  2. 本文来自于51cto，文章介绍了MapReduce是什么、MapReduce执行流程以及MapReduce1.x架构和MapReduce2.x架构等相关内容。MapReduce源自Google的MapReduce论文，论文发表于2004年12月。HadoopMapReduce可以说是GoogleMapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高

  3. 所属分类：其它

    • 发布日期：2021-02-24
    • 文件大小：1048576
    • 提供者：weixin_38654944

  1. 云计算中的MapReduce技术

  2. 云计算作为一种新型资源利用方式,支持广大用户通过网络以按需、易扩展的方式获得所需的资源。文章给出了MapReduce采用的基本理念("分而治之"),分析了MapReduce的基本原理,并以字数统计为例,详细介绍了作业提交、映射任务分配、映射任务执行、归约任务分配、排序、归约任务执行、作业完成等7大MapReduce计算流程,最后描述了MapReduce在云计算中的重要作用。

  3. 所属分类：其它

    • 发布日期：2021-02-21
    • 文件大小：369664
    • 提供者：weixin_38517105

  1. MapReduceV1：JobTracker端Job/Task数据结构

  2. 我们基于Hadoop1.2.1源码分析MapReduceV1的处理流程。在MapReduce程序运行的过程中，JobTracker端会在内存中维护一些与Job/Task运行相关的信息，了解这些内容对分析MapReduce程序执行流程的源码会非常有帮助。在编写MapReduce程序时，我们是以Job为单位进行编程处理，一个应用程序可能由一组Job组成，而MapReduce框架给我们暴露的只是一些Map和Reduce的函数接口，在运行期它会构建对应MapTask和ReduceTask，所以我们知道一

  3. 所属分类：其它

    • 发布日期：2021-02-20
    • 文件大小：1048576
    • 提供者：weixin_38601364

  1. MapReduce执行流程

  2. MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务，将任务输出保存在本地5.master调度worker执行reduce任务，reduceworker读取map任务的输出文件6.执行reduce任务，将任务输出保存到HDFS若对流程细节进行深究，可以得到这样一张流程图从生命周期的角度来看，mapreduce

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：152576
    • 提供者：weixin_38501045

  1. HiveDriver源码执行流程分析

  2. 接着上一篇来说执行入口的分析，CliDriver最终将用户指令command提交给了Driver的run方法（针对常用查询语句而言），在这里用户的command将会被编译，优化并生成MapReduce任务进行执行。所以Driver也是Hive的核心，他扮演了一个将用户查询和MapReduce Task转换并执行的角色，下面我们就看看Hive是如何一步一步操作的。在说run方法之前，由于CliDriver需要得到一个Driver类的实例，所以首先看一下Driver的构造方法。Driver有三个构造

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：97280
    • 提供者：weixin_38715008

  1. 分布式计算框架MapReduce

  2. 本文来自于51cto，文章介绍了MapReduce是什么、MapReduce执行流程以及MapReduce1.x架构和MapReduce2.x架构等相关内容。 MapReduce源自Google的MapReduce论文，论文发表于2004年12月。Hadoop MapReduce可以说是GoogleMapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：1048576
    • 提供者：weixin_38555616

  1. MapReduce处理流程

  2. MapReduce 的输入和输出 MapReduce 框架运转在键值对上，也就是说，框架把作业的输入看成是一组键值对，同样也产生一组键值对作为作业的输出，这两组键值对可能是不同的。 一个 MapReduce 作业的输入和输出类型如下图所示：可以看出在整个标准的流程中，会有三组键值对类型的存在。 MapReduce 的处理流程 mapper执行过程  第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认情况下，Split size = Block size。每一个

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：599040
    • 提供者：weixin_38734200
« 12 »