Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)
一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置多机器间免密登录全文请看:/tktttt/article/details/108578804
大数据集群搭建安装包:/download/tktttt/12879318
大数据集群搭建安装包2:/download/tktttt/12879355
一、虚拟机安装Centos7
1.准备工作
使用软件:VMware Workstation;该软件的安装一直下一步就行。
下面开始阐述镜像的安装:
可以直接去官网下载一个需要的镜像,本文操作时选择的是CentOS-7-x86_64-DVD-.iso,可以点击此处下载
2.centos7安装过程
打开VMware,点击创建新的虚拟机
选择自定义
,点击下一步
点击下一步
选择稍后安装操作系统
,点击下一步
客户机操作系统选择Linux
,版本选择Centos 7 64位
,点击下一步
虚拟机名称随意定义(自己记得住该虚拟机用来干嘛即可),建议取名有标识度
,位置最好放在C盘之外的其他盘,点击下一步
之后可以按默认参数,一直点击下一步
,到网络连接时,选择NAT
之后继续一直按默认参数点击下一步
,可以看到Centos已经创建到我的计算机中,即图中的Hadoop-node
右键该创建的虚拟机,点击设置
,进入设置页面,点击CD/DVD
,选择使用ISO镜像文件
,选择之前下载的镜像文件即可,点击确定
开启虚拟机,选择语言中文
-简体中文
,当然其他语言也可,点击继续
;
点击安装源
,进入之后选择done
;
软件选择:GNOME
桌面,图形化界面;
分区自动分区也可,自定义配置分区也可;
配置完成后开始安装系统,安装过程中会出现用户设置,自行设置好Root的密码,以及用户账户和密码;
安装完成后点击重启;
重启后,出现初始设置
界面,若未接受许可证
,点击进去选择接受许可;
并设置一下网络,打开连接开关;
好了之后,点击完成配置
,等待即可登录
打开终端,可以通过命令ifconfig查看自身IP信息;
ping一下宿主机ip,若ping通,则说明安装设置正常;也可以在虚拟机打开自带的浏览器,打开一个网页看看访问外网是否成功
3.关闭防火墙(关键)
1.在root
账户下(若登录时不是root账户则切换成root账户),检查防火墙状态
#firewall-cmd --state
2.需要关闭防火墙
#systemctl stop firewalld.service
3.再次查看防火墙状态,查看是否状态已经是not running
#firewall-cmd --state
4.禁止开机启动防火墙
#systemctl disable firewalld.service
二、安装jdk
1.卸载镜像自带jdk
1.通过xshell工具,连接虚拟机(root账户、虚拟机IP通过终端ifconfig查看)
2.通过命令下面命令查看系统自带jdk
rpm -qa | grep Java
3.通过下面命令删除系统自带的jdk,删除的是类似java-1.*-opejdk-**的文件(一般为四个)
rpm -e --nodeps 系统自带的jdk名
如:
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
4.删完后,再重复步骤2查看是否删除
2.安装自己的jdk
通过cd /usr/local/进入local目录;
通过ls查看当前目录已有的非隐藏文件;
之后通过mkdir java创建Java目录,用于存放自己的jdk;
创建好之后,通过cd java进入Java目录;
通过yum -y install lrzsz命令安装:在线导入安装包的插件;
成功后输入rz并回车,就会弹出文件选择窗口,选择自己jdk安装包,打开,就会进入文件传输的界面;
传输成功后,ls命令查看Java目录下的是否有安装包了;
有了之后通过tar -zxvf 安装包名命令解压jdk,如:
tar -zxvf jdk-8u11-linux-x64.tar.gz
解压之后,通过ls命令查看会发现java目录下出现了jdk的文件夹,这里可以通过命令rm -f jdk-8u11-linux-x64.tar.gz删除安装包 ,也可以不删;
之后配置环境变量:
通过命令vim /etc/profile打开profile文件配置环境变量,打开之后按i进入insert(插入模式),在文件末尾加上以下内容(位置和名称按你实际安装的来):
export JAVA_HOME=/usr/local/java/jdk1.8.0_11export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin
添加完成后,按Esc退出到非插入模式,再按Shift+:,之后输入wq并回车,即保存成功;
保存完后,输入source /etc/profile回车,使得刚才的配置生效;
测试是否安装成功,输入Javac命令回车,如果返回如下信息则说明编辑成功
再通过命令Java -version查看Java版本信息,如果出现下图信息则说明安装成功
3.配置多机器间免密登录
配置目的是在配置hadoop一主多从的分布式环境时,主从之间能够无障碍通信,输入以下命令,按回车
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #生成密钥对
会在/root/.ssh文件夹下生成一对密钥,即公钥和私钥,如下图:
公钥相当于锁,私钥相当于钥匙,只要我们将公钥(锁)写入别的机器上authorized_keys文件中,我们就能用私钥(钥匙)进行免密登陆别的机器了,接着输入以下命令,将公钥写入authorized_keys文件中:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #将公钥写入authorized_keys文件
这样一来,当后续我们使用VMware虚拟机克隆功能克隆生成其他节点时,这几个虚拟机中authorized_keys文件中写入相同的公钥,并且都与公钥(锁)对应的相同的私钥(钥匙),自然能够进行相互的免密登陆了