注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Hadoop开发者第四期

  2. Hadoop开发者第四期： 海量数据处理平台架构演变； 计算不均衡问题在Hive 中的解决办法； Join 算子在Hadoop 中的实现； 配置Hive 元数据DB 为PostgreSQL； ZooKeeper 权限管理机制； ZooKeeper 服务器工作原理和流程； ZooKeeper 实现共享锁； Hadoop 最佳实践； 通过Hadoop 的API 管理Job； Hadoop 集群的配置调优； Hadoop 平台的Java 规范及经验； MapReduce 开发经验总结； Hadoop

  3. 所属分类：其它

    • 发布日期：2011-04-22
    • 文件大小：2097152
    • 提供者：love_bluesky

  1. Hadoop开发者第四期

  2. Hadoop开发者第四期 目录 mooon........................................................................................................................................................... 1 海量数据处理平台架构演变..........................................................

  3. 所属分类：群集服务

    • 发布日期：2011-05-31
    • 文件大小：2097152
    • 提供者：uestzengting

  1. hadoop开发者第四期

  2. mooon 1 海量数据处理平台架构演变 4 计算不均衡问题在Hive中的解决办法 15 Join算子在Hadoop中的实现 20 配置Hive元数据DB为PostgreSQL 32 ZooKeeper权限管理机制 36 ZooKeeper服务器工作原理和流程 39 ZooKeeper实现共享锁 47 Hadoop最佳实践 50 通过Hadoop的API管理Job 54 Hadoop集群的配置调优 60 Hadoop平台的Java规范及经验 63 MapReduce开发经验总结 67 Hado

  3. 所属分类：其它

    • 发布日期：2011-09-27
    • 文件大小：2097152
    • 提供者：iehanbin

  1. 《Hadoop开发者》第四期

  2. mooon................................................ 01 海量数据处理平台架构演变............................. 04 计算不均衡问题在Hive 中的解决办法.................... 15 Join 算子在Hadoop 中的实现........................... 20 配置Hive 元数据DB 为PostgreSQL....................... 32 Zoo

  3. 所属分类：Java

    • 发布日期：2012-07-25
    • 文件大小：2097152
    • 提供者：john_2001_83

  1. Hadoop开发者第四期

  2. mooon 1 海量数据处理平台架构演变 4 计算不均衡问题在Hive中的解决办法 15 Join算子在Hadoop中的实现 20 配置Hive元数据DB为PostgreSQL 32 ZooKeeper权限管理机制 36 ZooKeeper服务器工作原理和流程 39 ZooKeeper实现共享锁 47 Hadoop最佳实践 50 通过Hadoop的API管理Job 54 Hadoop集群的配置调优 60 Hadoop平台的Java规范及经验 63 MapReduce开发经验总结 67 Hado

  3. 所属分类：其它

    • 发布日期：2012-11-29
    • 文件大小：2097152
    • 提供者：yangxue0927

  1. Hadoop开发者第四期

  2. mooon 1 海量数据处理平台架构演变 4 计算不均衡问题在Hive 中的解决办法 15 Join 算子在Hadoop 中的实现 20 配置Hive 元数据DB 为PostgreSQL 32 ZooKeeper 权限管理机制 36 ZooKeeper 服务器工作原理和流程 39 ZooKeeper 实现共享锁 47 Hadoop 最佳实践 50 通过Hadoop 的API 管理Job 54 Hadoop 集群的配置调优 60 Hadoop 平台的Java 规范及经验 63 MapReduce

  3. 所属分类：Java

    • 发布日期：2013-08-02
    • 文件大小：2097152
    • 提供者：wxhvc

  1. hive性能优化

  2. 一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对M/R中单个步骤的优化，针对M/R全局的优化，和针对整个查询（多M/R job）的优化，下文会分别阐述

  3. 所属分类：其它

    • 发布日期：2014-10-23
    • 文件大小：112640
    • 提供者：xdy2000

  1. Hive SQL 编译过程详解

  2. 1、MapReduce实现基本SQL操作的原理 1.1 Join的实现原理 1.2 Group By的实现原理 1.3 Distinct的实现原理 2.1 Phase1 SQL词法，语法解析 2.1.1 Antlr 2.1.2 抽象语法树AST Tree 2.1.3 样例SQL ........... 2.3 Phase3 逻辑操作符Operator ........... 2.4 Phase4 逻辑层优化器 ........... 2.5 Phase5 OperatorTree生成MapRe

  3. 所属分类：其它

    • 发布日期：2015-03-06
    • 文件大小：1048576
    • 提供者：oushaomeng2011

  1. Hadoop in Action

  2. 第一部分 Hadoop 分布式的编程框架 第一章 Hadoop 简介 1、philosophy： move-code-to-data，适合数据密集性应用。 2、SQL database VS Hadoop: 1) SCALE-OUT INSTEAD VS SCALE-UP 2) Key/value对 VS 关系表：无结构、半结构数据 VS 结构化的数据 3）函数式编程（MapReduce) VS 声明式编程（SQL）：hive can map the sql to the job 4)离线批处

  3. 所属分类：专业指导

    • 发布日期：2015-05-31
    • 文件大小：5242880
    • 提供者：rrf123

  1. hive-0.9.0.tar.gz

  2. 1.Hive 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。 这套映射工具称之为metastore，一般存放在derby、mysql中。 1.2 hive在hdfs中的默认位置是/

  3. 所属分类：其它

    • 发布日期：2015-10-05
    • 文件大小：29360128
    • 提供者：joode

  1. Hive大数据倾斜总结

  2. Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化，针对MR全局的优化以及针对整个查询的优化。 一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有

  3. 所属分类：Hive

    • 发布日期：2017-09-07
    • 文件大小：214016
    • 提供者：qq_37051667

  1. Hive实现并发

  2. hive实现并发机制：hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。 如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。

  3. 所属分类：Informix

    • 发布日期：2018-07-25
    • 文件大小：7168
    • 提供者：bd_xiaobai

  1. 2017最新大数据架构师精英课程

  2. 本资源为大数据基础到中高级教学资源，适合稍微有点大数据或者java基础的人群学习，资源过大，上传乃是下载链接，不多说，上目录： 1_java基础2 l3 a2 a$ t7 J2 b+ `- p 2_java引入ide-eclipse 3_java基础知识-循环-类型转换 4_循环-函数-数组-重载 5_多为数组-冒泡-折半-选择排序 6_oop-封装-继承-static-final-private 7_多态-接口-异常体系 8_适配器/ k% N! Y7 j/ |- c) O5 M' V6 S

  3. 所属分类：Java

  1. hive工作调优小结

  2. hive，基于底层的mr程序的调优，从一、Map阶段的优化（Map phase），二、Reduce阶段的优化（Reudce phase）三、Map与Reduce之间的优化（Spill、Copy、Sort phase）四、文件格式的优化（TextFile、SequenceFile、RCFile）五、Job执行模式的优化

  3. 所属分类：Hive

    • 发布日期：2018-11-16
    • 文件大小：17408
    • 提供者：weixin_43231331

  1. 利用kettle运行job，完成以上的两个过程.mp4

  2. 利用kettle运行job，完成以上的两个过程.mp4Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表

  3. 所属分类：专业指导

    • 发布日期：2020-02-04
    • 文件大小：9437184
    • 提供者：as4589sd

  1. datax实战-mysql同步数据到hive

  2. { job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ {

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：19456
    • 提供者：weixin_38618315

  1. datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同

  2. 数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由

  3. 所属分类：其它

    • 发布日期：2021-03-22
    • 文件大小：19922944
    • 提供者：weixin_42151772

  1. 数据仓库中的SQL性能优化（Hive篇）

  2. 一个Hive查询生成多个map reducejob，一个mapreducejob又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MR job）的优化，下文会分别阐述。在开始之前，先把MR的流程图帖出来（摘自Hadoop权威指南），方便后面对照。另外要说明的是，这个优化只是针对Hive

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：333824
    • 提供者：weixin_38729022

  1. Hive优化（提高hive运行速度）

  2. 文章目录一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）具体设置方法1、设置临时的2、修改hive配置文件（hive-site.xml），永久有效二、 一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行） 将hive的job交给yarn执行太慢，hive支持本地模式 設置本地模式之前的，耗時 9.068 設置本地模式之后的，耗時 0.29 具体设置方法 1、设置临时的 在每次执行hql语句之

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：86016
    • 提供者：weixin_38610717

  1. (一)hive导入数据

  2. 创建数据库+运行sql文件 1.create database XXX； 2.sql文件路径下运行hive -f XXX.sql 注：若出现错误line1:0 不识别，检查sql文件和编码格式（应该为utf-8 无bom） UE修改文件格式 用datax导入hive表 元数据存于mysql 1.配置文件：mysql2hive.json { job: { content: [ { reader: {

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：242688
    • 提供者：weixin_38675797
« 12 3 »