注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Hadoop集群作业的调度算法

  2. Hadoop集群作业的调度算法Hadoop集群作业的调度算法Hadoop集群作业的调度算法

  3. 所属分类：Java

    • 发布日期：2011-11-23
    • 文件大小：766976
    • 提供者：liangxiao_2011

  1. Hadoop集群作业的调度算法

  2. Hadoop集群作业的调度算法

  3. 所属分类：Java

    • 发布日期：2012-02-18
    • 文件大小：766976
    • 提供者：zhanglianyaguyu

  1. Hadoop公平调度器指南.pdf

  2. 公平调度是一种赋予作业（job）资源的方法，它的目的是让所有的作业随着时间的推移， 都能平均的获取等同的共享资源。当单独一个作业在运行时，它将使用整个集群。当有其它 作业被提交上来时，系统会将任务（task）空闲时间片（slot）赋给这些新的作业，以使得每 一个作业都大概获取到等量的 CPU 时间。与 Hadoop 默认调度器维护一个作业队列不同，这 个特性让小作业在合理的时间内完成的同时又不“饿”到消耗较长时间的大作业。它也是一 个在多用户间共享集群的简单方法。公平共享可以和作业优先权搭配使

  3. 所属分类：其它

    • 发布日期：2012-04-17
    • 文件大小：314368
    • 提供者：shaozhi_jinni

  1. (Hadoop集群公平调度算法的改进与实现

  2. Hadoop的利器，公平调度器算法的详细概述与实现！

  3. 所属分类：互联网

    • 发布日期：2012-11-03
    • 文件大小：1048576
    • 提供者：rongzhuobo

  1. Hadoop集群作业的调度研究

  2. Hadoop的普及正在如火如荼,而网上对Hadoop调度算法的资料很少。在操作系统课程报告上研究的Hadoop集群作业的调度算法。包括传统的FIFO Scheduler、Fair Scheduler、Capacity Scheduler以及新特性的异构负载动态调度器 、LATE。

  3. 所属分类：Java

    • 发布日期：2013-05-05
    • 文件大小：1048576
    • 提供者：u010570432

  1. hadoop集群性能优化技术研究

  2. Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路:从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。

  3. 所属分类：Java

    • 发布日期：2013-06-09
    • 文件大小：219136
    • 提供者：u011016243

  1. 腾讯大规模Hadoop集群实践

  2. 看了后，觉得有点借鉴了facebook的corona调度框架，和YARN有的一比。值得一看

  3. 所属分类：讲义

    • 发布日期：2014-05-29
    • 文件大小：671744
    • 提供者：ygs19870821

  1. 分布式集群、PB级别网站性能优化

  2. 大数据高并发服务器实战教程 Linux LNMP部分 Memcached篇 Redis 项目开发准备工作 项目开发（前台UI） 项目开发（前台业务流程） 项目开发（后台管理） 大数据高并发系统架构实战方案 大数据高并发架构实战案例分享 Piranha安装快速搭建LVS负载均衡集群 LVS负载均衡DR模式安装调试介绍 LVS负载均衡深入进阶实战 LVS调度策略及负载均衡原理深入 LVS深入及NAT集群调试 Nginx反向代理实战 Nginx实战进阶 Nginx动静分离URL转发实战 NFS共享文

  3. 所属分类：Java

    • 发布日期：2018-06-02
    • 文件大小：84
    • 提供者：ermaoermao

  1. 基于节点能力的Hadoop集群任务自适应调度方法

  2. 针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.

  3. 所属分类：Hadoop

    • 发布日期：2018-07-02
    • 文件大小：561152
    • 提供者：qq_28339273

  1. 搭建Hadoop集群

  2. HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode。 YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager。

  3. 所属分类：Hadoop

    • 发布日期：2019-06-26
    • 文件大小：318464
    • 提供者：momo0907

  1. hadoop集群基本进程

  2. namenode namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了 QuorumPeerMain  QuorumPeerMain Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动QuorumPeer线程。首先我们来看下QuorumP

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：92160
    • 提供者：weixin_38618140

  1. 美团1万台 Hadoop 集群 YARN 的调优之路

  2. 背景 YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业务主要运行的是Hive on MapReduce， Spark SQL为主的数据仓库作业。 实时业务主要运行Spark Streaming，Flink为主的实时流计算作业。 机器学习业务主要运行TensorFlow，MXNet，MLX（美团点评自研的大规模机器学习系统）等计算作业。 YA

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：747520
    • 提供者：weixin_38689113

  1. 深入理解Hadoop集群和网络

  2. ：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、MapReduce的监督。当JobTracker使用MapRedu

  3. 所属分类：其它

    • 发布日期：2021-03-02
    • 文件大小：1048576
    • 提供者：weixin_38712548

  1. Hadoop集群_WordCount运行详解--MapReduce编程模型

  2. MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。　　在分布式计算中，Ma

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：775168
    • 提供者：weixin_38653694

  1. Ambari接管线上Hadoop游戏数据集群实践

  2. 本文来自于infoq.com，介绍生产环境中Hadoop集群现状、Ambari的关键技术，Ambari管理监控线上Hadoop集群的技术方案，线上接管过程中的问题和解决方式。首先介绍我们生产环境中Hadoop集群的现状，Hadoop集群主要承担了数据接入存储、离线计算的职责，同时提供其上数据调度等自研系统的基础服务。生产环境中Hadoop使用的版本是v2.7.3，下面介绍其主要组件。首先HDFS采用了HAwithQJM的高可用架构，即采用StandbyNamenode热备、多节点协同同步Acti

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：636928
    • 提供者：weixin_38563871

  1. 深入理解Hadoop集群和网络

  2. ：本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、MapReduce的监督。当JobTracker使用MapRedu

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：1048576
    • 提供者：weixin_38547421

  1. Ambari接管线上Hadoop游戏数据集群实践

  2. 本文来自于infoq.com，介绍生产环境中Hadoop集群现状、Ambari的关键技术，Ambari管理监控线上Hadoop集群的技术方案，线上接管过程中的问题和解决方式。首先介绍我们生产环境中Hadoop集群的现状，Hadoop集群主要承担了数据接入存储、离线计算的职责，同时提供其上数据调度等自研系统的基础服务。生产环境中Hadoop使用的版本是v2.7.3，下面介绍其主要组件。首先HDFS采用了HAwithQJM的高可用架构，即采用StandbyNamenode热备、多节点协同同步Acti

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：635904
    • 提供者：weixin_38714532

  1. 一种基于小型Hadoop集群的数据分层调度处理算法研究

  2. 针对当前抓取调度数据量巨大且计算复杂耗时长的问题，根据数据集的维度特征属性，通过凝聚层次聚类的方式对数据进行分层处理，并将其运用到小型Hadoop分布式系统中，通过服务器Master来对一般数据库MySQL数据库进行维护与待分层，并对其中的数据特征进行归列，再按照流程传递到不同的Slave服务器使得处理好工作得以进行。Map过程之前将凝聚层次聚类规则作为预处理操作，完成数据模板文件的编写。选取MVC模式应用到实验模拟测试中：小型Hadoop分布式系统Master节点和Slave节点的运行效率比单

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：813056
    • 提供者：weixin_38546459

  1. mac上基于docker搭建hadoop集群

  2. 1、拉取centos8的镜像 在用户目录下： 2、构建集群子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS h

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：226304
    • 提供者：weixin_38517122

  1. 08Hadoop架构的Yarn & MapReduce集群配置，时间同步，安全模式，动态增删节点——好程序

  2. yarn集群配置与任务调度 yarn集群的安装配置 vi $HADOOP_HOME/etc/hadoop/yarn-site.xml yarn.resourcemanager.hostname hadoop0001 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address hadoop0001:8032 yarn.resourcemanager.scheduler.address hadoo

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：1048576
    • 提供者：weixin_38563552
« 12 3 4 5 »