开发工具:
文件大小: 1mb
下载次数: 0
上传时间: 2019-03-17
详细说明:本书全面地讲解了Raspberry Pi硬件组合和操作系统的使用,从主板的介绍到操作系统语法的讲解,再到如何与Arduino交互应用,图文并茂、由浅入深地引导开发者,逐步深入剖析当下热门应用案例,具有很强的实操性,还有大量珍贵程序代码。本书适合电子专业、互交设计专业、新媒体技术专业学生阅读,也是电子2018/7/19
Cloudera manager/CDH5.130详细离线部署流程一简书
打开m配置文件,改为以下内容
estrict default kod namodify notrap nopeer noquery
(apps/redirect?
restrict -6 default kod nomodi fy notrap naper noquery
utm source=side-
restrict 127.0.0.1
restrict -6:: 1
banner-click)
restrict 192. 168.6.0 mask 255. 255. 255. 0 namodity notrap
server 0. centos pool, ntp, org iburst
erver 1. centos. pool, ntp. org
server 127.127.1.a # locul clock
fudan127.127.1.0
incLudefile /etc/ntp/crypto/pw
keys /etc/ntp/ke
或者直接在终端执行
driftfile /var/lib/ntp/drift
restrict default kod namodify notrap
restrict -6 default kod nomodi fy notrap naper noquery
restrict127.的.的.1
restrict 192.168. 6.0 mask 255. 255. 255. 0 namodify notrap
server o centos, pooL, ntp. org iburst
1. centos, pool, ntp.org iburst
server 2. centos pooL. ntp. org iburst
server 3. centos. pool. ntp. org iburst
server 127.127.1. 0 #local clock
fudag 127.. 1.0 stratum 10
includefile /etc/ntp/crypto/
C/ntp/ke
然后启动nt服务并加入开机自启:
service ntpd start
chkconfig ntpd on
4.配置ntp时间同步客户端
打开 letc/ntp. conf文件,改为我们自己配置好的内容(以192.68.6.132为例)
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict 192. 168.6.132 mask 255. 255. 255. 0 nomodify notrap
r127.127.1.2
fudge 127.. 1. 0 stutun 10
keys /etc/ntp/keys
SYNC_HWCLOCK-yes
或者直接在终端执行
cat < EOF >/etc/ntp. conf
driftfile /var/lib/ntp/dri ft
restrict 127.0.0.1
restrict 192.. 132 mask 255. 255. 255. 0 nomodi fy notrap
192.168.6.132
2r127.127.1.2
127.1, 0 statum
keys /etc/ntp/keys
SYNC_HWCLOCK→yes
启动n服务并加入开机自启
https://wwwjianshu.com/p/4917022ad9ed
3/16
2018/7/19
Cloudera manager/CDH5.130详细离线部署流程一简书
service ntpd start
chkcanfig ntpd on
5.配置主机名
(apps/redirect?
utm source=side-
banner-click)
at < EOF >>/etc/sysconfig/network
NETACRKING=yes
HostName=node100.myexample.com
EOF
6.在集群所有主机名规划好之后,修改 hosts
192.168.6.240node100.myexample.com
192.168.6.241node101.myexample.com
192.168.6 242 node102 myexamp le com
7.配置无密码登录(仅主节点
ssh-copy-idrootenode100.myexample.com
ssh-copy-id rootnode 101. myexample
ssh-copy-id rootnode 102. myexample
8关闭THP服务
在 letcirc loca文件中设置开机自动关闭THP的语句,因为 Centos7默认开机是不执行
rc.Joca的,所以还要给 letc/rc. d/rc.Joca可执行权跟
cat < EOF > /etc/rc. LocaL
echo never >/sys/kernel/mm/transparent_hugepage/defrag
echo never >/sys/kernel/mm/transparent_hugepage/enabled
chmod +x /etc/rc. d/rc. local
9安装JDK18
建议使用 sr/javaljdk18作为JAVA_HOME因为YARN等组件默认使用这个目录为
JAVA_HoME,直接配置到这里可以避免很多麻烦
假设jk的trba已经拷贝到服务器的/ usr/java目录下
tar zxvf ijdk-8u152-1inux-x64 tur gz
mkdir jak1. 8
mjdk1.8.0_152/*jdk1.8/
配冒环境变量
cat < EOF >> /etc/profile
export JAVA_HCME-/usr/java/]dkl.8
export PAtH-\JAVA_HOME/bin:\SPATH
export CLASSPATI.: $JAVA_HOME/ib/dt.jar: \SJAVA_HOME/Lib/tools. jar
source /etc/profile
echo"JAVAHOME=/usr/java/jdk18>>/etc/environment
完成基本配置后需要重新启动
二、配置 Cloudera Manager Server和 Agent
1.部署文件
把 cloudera-manager-centos7cm5130x8664ta:gz复制到所有节点的lp目录下
解压缩。自动生成 cloudera、cm-5.13.0两个文件夹:
https://wwwjianshu.com/p/4917022ad9ed
4/16
2018/7/19
Cloudera manager/CDH5.130详细离线部署流程一简书
tar zxvf cloudera-manager-centos7-Cm5.13.0_64. tar. gz
把JDBC驱动复制到以下目录
(apps/redirect?
utm source=side-
cp mrysql-connector-javd-5.1. 44. jar /opt/cm-5.1.3/share/cmf/lib/
banner-click)
cp mysql-connector-java-5. 1. 44.jar /usr/share/java/
2.安装和配置mysq数据库
首先删除自带的 MariaDB
yum erase -y mariudb mariadb-1 ib
安装Mys,因为依赖关系,这里必须按照这个顺序安装
rpm -ivh mysqL-community-common-5720-1el7x86-64rpm
rpm -ivh mysqL-community-libs
9-1.e17x86_64,rpm
rpm -ivh mysqL-community-cLient-579-l, eL7, X86_64.rpm
rpm -ivh mysql-community-server-579-1.eL7 x86_64.rpm
设置Mysc
systemctL enable mysqld service
service mys
password '/var/Log/mysqldlog
执行完毕之后会有类似如下显示(临时生成的密码会有区别)
2017-12-17T11: 26: 18.937718Z 1 INote] a temporary pas sword is generated
for rootalocaLhost LgEu(D(>/lib/systemd/sys tem/cmserver service
Description=CLoudera Manager server
After=network target
(apps/redirect?
[Service
utm source=side
Type-forking
ExecStart=/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start
banner-click)
ExedReload=/opt/cm-5. 13.0/etc/init. d/cloudera-scm-server restart
ExecStop=/opt/cm-5.13./etc/init. d/cloudera-scm-server stop
[InstalL]
WantedBy=muLti-user target
新建 magent service文件添加系统服务配置(所有节点)
cat < EOF >>/Lib/systemd/ system/magent service
[Unit
Description=Cloudera
After=network target
Type=forking
Execstart-/opt/cm-5.13.0/etc/init. d/cloudera-scm-agent start
ExedRe Load=/opt/cm-5. 13.0/etc/init. d/cloudera-scm-agent restart
ExecStop-/opt/cm-5.13.0/etc/init. d/cloudera-scm-agent stop
PrivateTmp
WantedBy=multi-user target
EOF
更改配置文件的权限为745
chmod 745/Lib/systemd/system/cmserver service
chmod 745 /Lib/systemd/system/magent service
添加到开机自启动
systemctL enable cmserver, service
systemctL enable magent service
然后启动、重启、停止服务就和其它系统服务一样了,
三、部署安装cDH5.13.0.29
1.建立集群
用浏览器访问 server:7180
https://wwwjianshu.com/p/4917022ad9ed
7/16
2018/7/19
Cloudera Manager/CDH5130详细离线部署流程-简书
TOC打钩
m加m
(/apps/redirect?
utm source=side
〓”
banner-click)
E品Laa
实验环境就选个免费版
继续下一步
冒国
B所唐
生柠加数〔
一回团图平
fmm scr
世选m
如果之前配置都正确的话,就直接选择当前管理的主机。
https://wwwjianshu.com/p/4917022ad9ed
8/16
2018/7/19
Cloudera Manager/CDH5130详细离线部署流程-简书
(apps/redirect?
utm source=side
banner-click)
继续下一步
直可里
然后就开始蛟为漫长的安装了
应
十品量加性理B△
集群安装好之后还要验证一下
https://wwwjianshu.com/p/4917022ad9ed
9/16
2018/7/19
Cloudera Manager/CDH5130详细离线部署流程-简书
c屋墨
(apps/redirect?
utm source=side
banner-click)
这里会将一些检查发现的问题汇总起来,不严重的问题可以先不管,图中提示THP没有
关闭是因为我截图的时候忘记把主机的THP关闭了,如果按照基础环境准备的步骤做,
是不会提示这个警告的。 swapness我也没有管,不过建议搭建的时候如果物理内存足够
的话,还是把 swapness调小一些,否则真的很卡顿。
a
m上是
1、一
孔L
配一
然后就可以开始选择安装服务了。
1b1
a,品
Pn
叫面一,巴5品山L
2安装服务
首先点击噼群集’,选择我们装好的 cluster(这里我预先装好了HDFS和 Zookeeper)
https://wwwjianshu.com/p/4917022ad9ed
10/16
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.