离线计算系统 A. HADOOP分布式集群的平台搭建 B. HADOOP分布式文件系统HDFS的原理理解及使用 C. HADOOP分布式运算框架MAPREDUCE的原理理解及编程 D. Hive数据仓库工具的熟练应用 E. Flume、sqoop、oozie等辅助工具的熟练使用 F. Shell/python等脚本语言的开发能力
让大家将所学到的大数据理论付诸于实践中。。。。。。。Lanate
企业级 hadoop高可用HDFS集群
zooKeeper Insemble-Instances Typically Reside on Master Nodes
Zookeeper
zooKeeper
zookeeper
Journalnode
Zookeeper
Failove
Failover
Controller
Controller
Must Res de o
Journalnode
Must Reside on
t
h
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql查询功能,可以将sql语句转换 为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL 语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。cd/ etchive/ conf
my hive-env sh template hive-env sh
mv hive-default. xml template hive-