系列目录:
Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境
Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式
建立Linux虚拟机(全节点)
客户机操作系统:rhel-server-6.5-x86_64。
网络连接:NAT模式。Connecet automaticcally:打勾。不会随宿主机网段变化发生IP变化。
安装类型:Minimal
关闭防火墙和SELINUX(全节点)
# iptablesservice iptables statusservice iptables stop# 不随操作系统自动启动chkconfig iptables off# 验证,查看名字中包含table的服务chkconfig --list|grep table# 永久起效,reboot重启后生效vi /etc/selinux/configSELINUX=disabled复制代码
修改主机名,配置hosts(全节点)
vi /etc/sysconfig/network# cdhmasterNETWORKING=yesHOSTNAME=cdhmasterGATEWAY=192.168.200.2service network restart# cdhslave1NETWORKING=yesHOSTNAME=cdhslave1GATEWAY=192.168.200.2service network restart复制代码
vi /etc/hosts192.168.200.100 cdhmaster192.168.200.101 cdhslave1复制代码
搭建本地yum源(master节点)
挂载iso镜像文件,拷贝文件内容
mkdir -p /root/training/dvdmount /dev/cdrom /mnt/dvddf -hcp -av /mnt/dvd/* /root/training/dvdumount /mnt/dvd复制代码
新建yum配置文件
vi /etc/yum.repos.d/local.repo[dvd]name=install dvdbaseurl=file:///root/training/dvdenabled=1# enabled=0gpgcheck=0# 验证yum list | grep mysql复制代码
搭建本地yum源(http方式)(master节点)
启动httpd服务
# 验证是否安装httpd服务rpm -qa|grep httpd# yum install -y httpdyum install -y httpd# 启动httpd服务service httpd start# 设置httpd服务开机自启动chkconfig httpd on复制代码
配置yum源
# 上传rhel6.5.tar至`/var/www/html`,解压tar xvf rhel6.5.tar# 验证,在浏览器地址栏输入http://cdhmaster/rhel6.5复制代码
新建yum配置文件
cp rhel-source.repo rhel-source.repo.bakvi /etc/yum.repos.d/rhel-source.repo[rhel-source]name=Red Hat Enterprise Linux $releasever - $basearch - Sourcebaseurl=http://cdhmaster/rhel6.5/enabled=1gpgcheck=0# 把前面搭建的本地yum源禁用,设置local.repo中的enabled=0# 验证yum list | grep mysql复制代码
yum源配置(全节点)
新建yum配置文件
cp rhel-source.repo rhel-source.repo.bakvi /etc/yum.repos.d/rhel-source.repo[rhel-source]name=Red Hat Enterprise Linux $releasever - $basearch - Sourcebaseurl=http://cdhmaster/rhel6.5/enabled=1gpgcheck=0# 把前面搭建的本地yum源禁用,设置local.repo中的enabled=0# 验证yum list | grep mysql复制代码
ntp时间同步(全节点)
# 检查是否安装了ntprpm -qa | grep ntpyum install -y ntp ntpdateservice ntpd startchkconfig ntpd onservice ntpdate startchkconfig ntpdate on复制代码
# 选择cdhmaster用作ntp server,设置系统时间并保存date -s "1024 14:04:00"hwclock --systohc复制代码
# 集群各节点时间同步vi /etc/ntp.confserver 192.168.200.100service ntpd restart# 验证测试ntpdc -c loopinfo复制代码
配置内核参数(全节点)
禁用透明大页面,首先查看透明大页面是否启用,[always] never表示已启用,always [never]表示已禁用。
# 关闭透明大页面cat /sys/kernel/mm/transparent_hugepage/defrag# [always] madvise neverecho never > /sys/kernel/mm/transparent_hugepage/defrag# 命令写入开机启动文件,修改/etc/rc.local文件并添加以下两行(重启才能生效)echo never > /sys/kernel/mm/redhat_transparent_hugepage/defragecho never > /sys/kernel/mm/redhat_transparent_hugepage/enabled复制代码
关闭内存交换区,Linux内核参数vm.swappiness,值的范围为0到100,表示系统什么时候开始进行物理内存与虚拟内存的交换。举个例子,系统总内存为64G,vm.swappiness为60,表示在系统内存使用64*0.4=25.6G的时候开始物理内存与虚拟内存的交换,这个动作势必会影响系统的性能。因此,Cloudera建议把这个值修改为1~10。
# 关闭内存交换区,默认值60,临时生效sysctl vm.swappiness=0# 写入环境控制,重启后永久生效echo "vm.swappiness=0" >> /etc/sysctl.conf # 验证cat /proc/sys/vm/swappiness复制代码
CDH安装和配置
cm5.9.0.tar包的生成
1、cm5的rpm包获取,/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/
cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpmcloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpmcloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpmcloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpmenterprise-debuginfo-5.9.0-1.cm590.p0.249.el6.x86_64.rpmjdk-6u31-linux-amd64.rpmoracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm复制代码
2、cloudera-manager-installer.bin获取,/cm5/installer/5.9.0/
cloudera-manager-installer.bin复制代码
3、cdh5的parcel获取,/cdh5/parcels/5.9.0/
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcelCDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.shamanifest.json复制代码
4、生成repodata目录下的文件,
问题:/var/www/html/cm5.9.0/repodata
下的文件是怎么产生的?
1、yum install -y createrepo.noarch
which createrepoyum list | grep createrepoyum install -y createrepo.noarch复制代码
2、手工下载/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/
下的rpm文件至cm5.9.0目录下。
3、执行createrepo cm5.9.0
即可repodata目录下的文件。然后浏览器录入http://cdhmaster/cm5.9.0/
即可以访问。注意启动httpd服务。
配置cm yum本地源(master节点)
# 上传cm5.9.0.tar至`/var/www/html`,解压tar xvf cm5.9.0.tar# 验证,在浏览器地址栏输入http://cdhmaster/cm5.9.0复制代码
新建cm yum配置文件(全节点)
vi /etc/yum.repos.d/cloudera-manager.repo[cloudera-manager]name = Cloudera Manager, Version 5.9.0baseurl = http://cdhmaster/cm5.9.0/gpgcheck = 0# 验证yum list | grep cloudera复制代码
安装jdk(全节点)
master节点会在cloudera manager安装的过程中安装jdk,默认安装在/usr/java/jdk1.7.0_67-cloudera
。如果安装失败,日志中提示缺少jdk,需要在slave节点安装jdk。
# 上传oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm到/root/trainingrpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm# 默认也是安装在/usr/java,是否需要配置JAVA_HOME和PATH?复制代码
配置parcel(master节点)
mkdir -p /opt/cloudera/parcel-repo# 上传如下3个文件到该目录# CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel# CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha# manifest.json复制代码
执行cm安装(master节点)
安装过程日志记录在/var/log/cloudera-manager-installer
cd /var/www/html/cm5.9.0# 不在/etc/yum.repos.d产生repo文件./cloudera-manager-installer.bin --skip_repo_package=1复制代码
一直next,待出现如下界面,则表示cm安装成功。
Point your web browser to http://192.168.200.100:7180/. Log in to Cloudera Manager with username: 'admin' and password: 'admin' to continue installation.复制代码
等几分钟后(视机器配置),浏览器打开http://192.168.200.100:7180/,按需添加服务。
cm安装过程日志记录在/var/log/cloudera-manager-installer
。
parcel安装过程日志记录在/var/log/cloudera-scm-agent
和/var/log/cloudera-scm-server
。
微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。
转载请注明:转载自微信公众号「数据分析」
读者交流电报群:
https://t.me/sspadluo