700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)

时间:2023-06-25 16:14:48

相关推荐

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)

一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置多机器间免密登录

全文请看:/tktttt/article/details/108578804

大数据集群搭建安装包:/download/tktttt/12879318

大数据集群搭建安装包2:/download/tktttt/12879355

一、虚拟机安装Centos7

1.准备工作

使用软件:VMware Workstation;该软件的安装一直下一步就行。

下面开始阐述镜像的安装:

可以直接去官网下载一个需要的镜像,本文操作时选择的是CentOS-7-x86_64-DVD-.iso,可以点击此处下载

2.centos7安装过程

打开VMware,点击创建新的虚拟机

选择自定义,点击下一步

点击下一步

选择稍后安装操作系统,点击下一步

客户机操作系统选择Linux,版本选择Centos 7 64位,点击下一步

虚拟机名称随意定义(自己记得住该虚拟机用来干嘛即可),建议取名有标识度,位置最好放在C盘之外的其他盘,点击下一步

之后可以按默认参数,一直点击下一步,到网络连接时,选择NAT

之后继续一直按默认参数点击下一步,可以看到Centos已经创建到我的计算机中,即图中的Hadoop-node

右键该创建的虚拟机,点击设置,进入设置页面,点击CD/DVD,选择使用ISO镜像文件,选择之前下载的镜像文件即可,点击确定

开启虚拟机,选择语言中文-简体中文,当然其他语言也可,点击继续

点击安装源,进入之后选择done

软件选择:GNOME桌面,图形化界面;

分区自动分区也可,自定义配置分区也可;

配置完成后开始安装系统,安装过程中会出现用户设置,自行设置好Root的密码,以及用户账户和密码;

安装完成后点击重启;

重启后,出现初始设置界面,若未接受许可证,点击进去选择接受许可;

并设置一下网络,打开连接开关;

好了之后,点击完成配置,等待即可登录

打开终端,可以通过命令ifconfig查看自身IP信息;

ping一下宿主机ip,若ping通,则说明安装设置正常;也可以在虚拟机打开自带的浏览器,打开一个网页看看访问外网是否成功

3.关闭防火墙(关键)

1.在root账户下(若登录时不是root账户则切换成root账户),检查防火墙状态

#firewall-cmd --state

2.需要关闭防火墙

#systemctl stop firewalld.service

3.再次查看防火墙状态,查看是否状态已经是not running

#firewall-cmd --state

4.禁止开机启动防火墙

#systemctl disable firewalld.service

二、安装jdk

1.卸载镜像自带jdk

1.通过xshell工具,连接虚拟机(root账户、虚拟机IP通过终端ifconfig查看)

2.通过命令下面命令查看系统自带jdk

rpm -qa | grep Java

3.通过下面命令删除系统自带的jdk,删除的是类似java-1.*-opejdk-**的文件(一般为四个)

rpm -e --nodeps 系统自带的jdk名

如:

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64

4.删完后,再重复步骤2查看是否删除

2.安装自己的jdk

通过cd /usr/local/进入local目录;

通过ls查看当前目录已有的非隐藏文件;

之后通过mkdir java创建Java目录,用于存放自己的jdk;

创建好之后,通过cd java进入Java目录;

通过yum -y install lrzsz命令安装:在线导入安装包的插件;

成功后输入rz并回车,就会弹出文件选择窗口,选择自己jdk安装包,打开,就会进入文件传输的界面;

传输成功后,ls命令查看Java目录下的是否有安装包了;

有了之后通过tar -zxvf 安装包名命令解压jdk,如:

tar -zxvf jdk-8u11-linux-x64.tar.gz

解压之后,通过ls命令查看会发现java目录下出现了jdk的文件夹,这里可以通过命令rm -f jdk-8u11-linux-x64.tar.gz删除安装包 ,也可以不删;

之后配置环境变量:

通过命令vim /etc/profile打开profile文件配置环境变量,打开之后按i进入insert(插入模式),在文件末尾加上以下内容(位置和名称按你实际安装的来):

export JAVA_HOME=/usr/local/java/jdk1.8.0_11export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin

添加完成后,按Esc退出到非插入模式,再按Shift+,之后输入wq并回车,即保存成功;

保存完后,输入source /etc/profile回车,使得刚才的配置生效;

测试是否安装成功,输入Javac命令回车,如果返回如下信息则说明编辑成功

再通过命令Java -version查看Java版本信息,如果出现下图信息则说明安装成功

3.配置多机器间免密登录

配置目的是在配置hadoop一主多从的分布式环境时,主从之间能够无障碍通信,输入以下命令,按回车

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #生成密钥对

会在/root/.ssh文件夹下生成一对密钥,即公钥和私钥,如下图:

公钥相当于锁,私钥相当于钥匙,只要我们将公钥(锁)写入别的机器上authorized_keys文件中,我们就能用私钥(钥匙)进行免密登陆别的机器了,接着输入以下命令,将公钥写入authorized_keys文件中:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #将公钥写入authorized_keys文件

这样一来,当后续我们使用VMware虚拟机克隆功能克隆生成其他节点时,这几个虚拟机中authorized_keys文件中写入相同的公钥,并且都与公钥(锁)对应的相同的私钥(钥匙),自然能够进行相互的免密登陆了

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。