开发工具:
文件大小: 28mb
下载次数: 0
上传时间: 2015-10-05
详细说明：
1.Hive 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。 这套映射工具称之为metastore，一般存放在derby、mysql中。 1.2 hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-site.xml中属性hive.metastore.warehouse.dir决定的。 2.hive的安装 (1)解压缩、重命名、设置环境变量 (2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template hive-site.xml重命名 在目录$HIVE_HOME/conf/下，执行命令mv hive-env.sh.template hive-env.sh重命名 (3)修改hadoop的配置文件hadoop-en v.sh，修改内容如下： export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin (4)在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容： export JAVA_HOME=/usr/local/jdk export HIVE_HOME=/usr/local/hive export HADOOP_HOME=/usr/local/hadoop 3.安装mysql (1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令 rpm -i mysql-server-******** 安装mysql服务端 (3)启动mysql 服务端，执行命令 mysqld_safe & (4)执行命令 rpm -i mysql-client-******** 安装mysql客户端 (5)执行命令mysql_secure_installation设置root用户密码 4. 使用mysql作为hive的metastore (1)把mysql的jdbc驱动放置到hive的lib目录下 (2)修改hive-site.xml文件，修改内容如下： javax.jdo.option.ConnectionURL jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword admin PS:是由于mysql的最大索引长度导致，MySQL的varchar主键只支持不超过768个字节 或者 768/2=384个双字节 或者 768/3=256个三字节的字段而 GBK是双字节的，UTF-8是三字节的 解决办法 数据库的字符集除了system为utf8，其他最好为latin1，否则可能出现如上异常，在mysql机器的上运行: mysql> show variables like '%char%'; mysql>alter database 库名 character set latin1; mysql>flush privileges; 5. 内部表 CREATE TABLE t1(id int); LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1; CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 6. 分区表 CREATE TABLE t3(id int) PARTITIONED BY (day int); LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1 PARTITION (day=22); 7. 桶表 create table t4(id int) clustered by(id) into 4 buckets; set hive.enforce.bucketing = true; insert into table t4 select id from t3; 8. 外部表 create external table t5(id int,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/external'; ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
