文件名称:
EasyHadoop部署实战手册_VM测试版本
开发工具:
文件大小: 1mb
下载次数: 0
上传时间: 2013-07-15
详细说明： 文档概述 本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。 本安装文档适用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系统 需要做部分修改。 EasyHadoop集群部署入门 修订记录 日期 修改原因 描述 作者 2012/02/14 初稿 Hadoop部署文档 向磊 2012/07/14 完善细节 新基础环境配置,修改配置文件,修改架构图。 童小军 2012/07/16 完善细节 完善系统检查方法,完善目录结构和注释,添加封面 童小军 2012/07/16 添加图例 添加生产集群部署图,组件的依赖关系 童小军 2012/08/07 添加EasyHive 添加EasyHive 章节 童小军 2012/09/07 完善内容 添加机器配置详解,和配置文件详解 童小军 2012/09/07 完善内容 添加任务调度,机架感知 童小军 目录 EasyHadoop 让你的Hadoop应用飞起来! 1 EasyHadoop集群部署入门 2 目录 2 1. 文档概述 3 2. 背景 3 3. 名词解释 3 4. 服务器结构 4 #Hadoop试验集群的部署结构 4 #系统和组建的依赖关系 5 #生产环境的部署结构 6 5. Red hat Linux基础环境搭建 6 #linux 安装 (vm虚拟机) 6 #配置机器时间同步 6 #配置机器网络环境 7 #配置集群hosts列表 10 #下载并安装 JAVA JDK系统软件 10 #生成登陆密钥 11 #创建用户账号和Hadoop部署目录和数据目录 11 #检查基础环境 12 6. Hadoop 单机系统 安装配置 12 #Hadoop 文件下载和解压 12 #配置 hadoop-env.sh 环境变量 13 #Hadoop Common组件 配置 core-site.xml 13 #HDFS NameNode,DataNode组建配置 hdfs-site.xml 14 #配置MapReduce - JobTracker TaskTracker 启动配置 15 #Hadoop单机系统,启动执行和异常检查 16 #通过界面查看集群部署部署成功 17 #通过执行 Hadoop pi 运行样例检查集群是否成功 19 #安装调试方法 19 #安装部署 常见错误 20 7. Hadoop 集群系统 配置安装配置 20 #检查node节点linux 基础环境是否正常,参考 [ linux 基础环境搭建]一节。 20 #配置从master 机器到 node 节点无密钥登陆 20 #检查master到每个node节点在hadoop用户下使用密钥登陆是否正常 21 #配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用 21 #通过界面查看集群部署部署成功 22 #通过执行 Hadoop pi 运行样例检查集群是否成功 24 8. 自动化安装脚本 25 #master 服务器自动安装脚本 25 9. 开启集群LZO 27 #下载相关 LZO 包 27 #安装 LZO 相关包 27 #编译 安装 lzo 包 27 #修改hadoop配置文件core-site.xml 27 #修改hadoop配置文件mapred-site.xml 28 10. 开启任务调度器 28 #修改 mapred-site.xml 28 #修改 capacity-scheduler.xml 添加 hive streaming 等队列。 28 11. 开启机架感知 34 #修改hadoop配置文件core-site.xml 添加机架感知代码 34 #新建 RackAware.py 文件 34 12. 配置详解 34 #Hadoop系统配置详解 34 #机器配置推荐 37 ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
