注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. sequenceFile打包多个小文件

  2. 利用Hadoop的sequencefile处理小文件的小程序

  3. 所属分类：Java

    • 发布日期：2013-03-25
    • 文件大小：37888
    • 提供者：wusw1122

  1. SequenceFile转换成MapFile

  2. Hadoop中将SequenceFile转换成MapFile的主要方法：给Sequencefile重建索引的程序

  3. 所属分类：Java

    • 发布日期：2013-03-25
    • 文件大小：17408
    • 提供者：wusw1122

  1. HBase存储海量图片

  2. 本文档详细的描述了如何采用HBase存储海量图片，以及如何将大批量的小文件写成sequenceFile文件格式。

  3. 所属分类：Java

    • 发布日期：2014-08-08
    • 文件大小：583680
    • 提供者：ls386239766

  1. hadoop 大数据

  2. 我不是高手，但我可以告诉你我怎么学习。①选择一个Hadoop的版本，然后阅读文档了解Hadoop：What's Hadoop, Why Hadoop exists；②安装Hadoop，三种方式都试下；③在Hadoop文档里面有Hadoop Command的资料，I.hdfs command，II.job command，尽量试试这两方面的命令；④Hadoop Files，看看Hadoop文件的概念，关注它的分布式特点，然后看看Reduce函数输出的文件；⑤自己写WordCount与Advanc

  3. 所属分类：Java

    • 发布日期：2015-04-03
    • 文件大小：40894464
    • 提供者：zhaosensenyy

  1. JAVA上传图片存储到HBASE

  2. 本文档详细的描述了如何采用HBase存储海量图片，以及如何将大批量的小文件写成sequenceFile文件格式。

  3. 所属分类：Java

    • 发布日期：2016-04-16
    • 文件大小：583680
    • 提供者：hai_chen

  1. sequencefile&mapfile代码

  2. sequencefile&mapfile相关测试代码

  3. 所属分类：Java

    • 发布日期：2017-05-01
    • 文件大小：5120
    • 提供者：lemonzhaotao

  1. TextFile转为SequenceFile

  2. 业务需要hive读取SequenceFile文件，所以把TextFile类型转SequenceFile，再导入hive

  3. 所属分类：Java

    • 发布日期：2017-05-05
    • 文件大小：4096
    • 提供者：gongmf

  1. SparkSql和DataFrame实战.docx

  2. 文档主要介绍了环境搭建和配置使用 1. 什么是Spark SQL Spark SQL的一个用途是执行使用基本SQL语法或HiveQL编写的SQL查询。Spark SQL还可以用于从现有的Hive安装中读取数据。有关如何配置此功能的更多信息，请参考Hive表格部分。当从另一种编程语言中运行SQL时，结果将作为DataFrame返回。您还可以使用命令行或jdbc/odbc来与SQL接口进行交互。 2. 什么是DataFrame 一个以命名列组织的分布式数据集。概念上相当于关系数据库中一张表或在R

  3. 所属分类：spark

    • 发布日期：2018-06-01
    • 文件大小：929792
    • 提供者：weixin_42349399

  1. 小文件合并Sequencefile

  2. 小文件合并Sequencefile　word.jar

  3. 所属分类：Java

    • 发布日期：2018-10-19
    • 文件大小：7340032
    • 提供者：yyk19961220

  1. hive工作调优小结

  2. hive，基于底层的mr程序的调优，从一、Map阶段的优化（Map phase），二、Reduce阶段的优化（Reudce phase）三、Map与Reduce之间的优化（Spill、Copy、Sort phase）四、文件格式的优化（TextFile、SequenceFile、RCFile）五、Job执行模式的优化

  3. 所属分类：Hive

    • 发布日期：2018-11-16
    • 文件大小：17408
    • 提供者：weixin_43231331

  1. glibc-2.14 Hadoop专属glib

  2. 升级glib解决Hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 和 SequenceFile doesn't work with GzipCodec without native-hadoop code 问题， 具体请参见博文：https://blog.csdn.net/l1028386804/article/details/88420473

  3. 所属分类：Hadoop

    • 发布日期：2019-03-12
    • 文件大小：9437184
    • 提供者：l1028386804

  1. content.zip

  2. SequenceFile学习的Java Demo代码 里面包括合并小文件，读取SequenceFile文件，写SequenceFile文件

  3. 所属分类：Java

    • 发布日期：2020-03-03
    • 文件大小：5120
    • 提供者：qq_23120963

  1. Hive用户指南(Hive_user_guide)_中文版.pdf

  2. 1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数 据提取转化加载 （ETL），这是一种可以存储、 查询和分析存储在 Hadoop 中的大规模数据的 机制。 Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。 同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理 内建的 mapper 和 reducer 无法完成的复杂的分析工作

  3. 所属分类：其它

    • 发布日期：2020-01-14
    • 文件大小：1048576
    • 提供者：weixin_45524326

  1. flume与hdfs集成排雷指南

  2. 先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足踩了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应jar之后复制到{FLUME_HOME}/lib下即可。 org/apache/hadoop/io/

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：63488
    • 提供者：weixin_38526650

  1. Impala高性能探秘之HDFS数据访问

  2. Impala是一个高性能的OLAP引擎，Impala本身只是一个OLAP-SQL引擎，它访问的数据存储在第三方引擎中，第三方引擎包括HDFS、Hbase、kudu。对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro、sequencefile等。对于HDFS文件格式，Impala不支持更新操作，这主要限制于HDFS对于更新操作的支持比较弱。本文主要介绍Impala是如何访问HDFS数据的，Impala访问HDFS包括如下几种类型：1、数据访问（查询）

  3. 所属分类：其它

    • 发布日期：2021-02-24
    • 文件大小：522240
    • 提供者：weixin_38557670

  1. Hadoop对文本文件的快速全局排序实现方法及分析

  2. 一、背景 Hadoop中实现了用于全局排序的InputSampler类和TotalOrderPartitioner类，调用示例是org.apache.hadoop.examples.Sort。 但是当我们以Text文件作为输入时，结果并非按Text中的string列排序，而且输出结果是SequenceFile。 原因： 1） hadoop在处理Text文件时，key是行号LongWritable类型，InputSampler抽样的是key，TotalOrderPartitioner也是用

  3. 所属分类：其它

    • 发布日期：2021-01-10
    • 文件大小：72704
    • 提供者：weixin_38536397