700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 配置密码分布式集群环境hadoop hbase zookeeper搭建(全)

配置密码分布式集群环境hadoop hbase zookeeper搭建(全)

时间:2022-11-07 10:19:08

相关推荐

配置密码分布式集群环境hadoop hbase zookeeper搭建(全)

新手发帖,很多方面都是刚入门,有错误的地方请大家见谅,欢迎批评指正

1、环境说明

群集环境少至要需3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以互相ping通,面下举例说明,配置节点IP分配如下:

三个节点均用使centos6.3系统,为了便于维护,群集环境配置项最好用使同相户用名、户用密码、同相hadoop、hbase、zookeeper录目结构。

2、准备工作

2.1、修改Hostname

为了群集可以畸形稳定的运行,我们要需将个每节点的hostname别分配置为对应的Master、Slave1、Slave2。

(1)在Master服务器中执行以下令命:

hostname Master//前当效有

vi /etc/sysconfig/network//启重后失效

HOSTNAME=Master

(2)在Slave1服务器中执行以下令命:

hostname Slave1//前当效有

vi /etc/sysconfig/network//启重后失效

HOSTNAME=Slave1

(3)在Slave2服务器中执行以下令命:

hostname Slave2//前当效有

vi /etc/sysconfig/network//启重后失效

HOSTNAME=Slave2

2.2、添加Hosts映射系关

别分在三个节点下通过如下令命修改hosts映射系关:

vi /etc/hosts

添加内容如下:

Master10.10.10.213Slave110.10.10.214Slave210.10.10.215

2.3、配置JDK环境

Hadoop群集必须赖依JDK环境,所以这里我们首先要需配置好JDK环境,样同为了管理,我们议建服务器中的节点JDK安装环境均在同相径路下。

2.3.1、解压安装包

拷贝jdk件文jdk-6u25-linux-x64.bin到/usr/lib/java件文录目(该录目可自行义定)下,解压安装包,如果件文权限被制约,可通过如下令命停止赋权限作操:

chmod u+w jdk-6u25-linux-x64.bin

2.3.2、修改环境配置息信

vi /etc/profile

在最后加上:

export JAVA_HOME=/usr/lib/java/jdk1.6.0_25export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

通过销注或者以下令命使修改失效:

source /etc/profile

2.3.3、检查前当JDK版本息信

java -version

2.3.4、充补(可选)

如果查看前当的JDK版本不是刚才设置的JDK版本,则可以停止默许JDK版本设置作操:

sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.6.0_25/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.6.0_25/bin/javac 300 sudo update-alternatives --config java(选择jdk1.6.0_25版本的序号就行)

2.4、安装SSH

Centos系统安装时默许可以选择安装SSH,ubuntu下可以通过如下令命停止安装(提前是必须联网):

sudo apt-get install sshsudo apt-get install rsync

2.5、新建户用

为了hadoop群集的全安与便利管理,我们要另外新建户用,并设置密码,令命如下:

sudo adduser hadoopsudo passwd hadoop

上述令命中,第一行令命新建了一个user为hadoop的户用,第二行令命是为这个hadoop户用设置密码,样同最好服务器之间均保持一致。

2.6、配置群集之间SSH无密码登岸

群集环境的用使必须通过ssh无密码登岸来执行,本机登岸本机必须无密码登岸,主机与从机之间必须可以向双无密码登岸,从机与从机之间无制约。以本次为例,比如Master与Slave1之间的无密码登岸设置骤步如下:

(1)进入Master服务器,停止无密码自登岸设置

ssh hadoop@Master//登岸Masterssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys//成生密钥chmod 700 ~/.ssh && chmod 600 ~/.ssh/*//设置权限

如果不知道是不是配置胜利,可通过如下令命停止验证:

ssh localhost

如果上述令命不要需输入密码则表现配置胜利。

进入Slave1服务器,停止无密码自登岸设置,作操同上,只要将对应的Master为改Slave1可即,此处省略。

(2)进入Master服务器,设置Master->Slave1的无密码登岸

ssh hadoop@Master//登岸Mastercat ~/.ssh/id_rsa.pub | ssh hadoop@Slave1 'cat - >> ~/.ssh/authorized_keys'ssh hadoop@Slave1//若此处不要需输入密码则配置胜利

(3)进入Slave1服务器,设置Slave1->Master的无密码登岸

ssh hadoop@Slave1//登岸Slave1cat ~/.ssh/id_rsa.pub | ssh hadoop@Master 'cat - >> ~/.ssh/authorized_keys'ssh hadoop@Master//若此处不要需输入密码则胜利

以上就是Master与Slave1之间的向双无密码登岸配置。Master与Slave2之间的配置道理同上述基本一样,所以不再赘述。

3、Hadoop群集安装配置

3.1、修改hadoop配置件文

每日一道理

漫漫人生路,谁都难免会遭遇各种失意或厄运。在凄风苦雨 惨雾愁云的考验面前,一个强者,是不会向命运低头的。风再冷,不会永远不息;雾再浓,不会经久不散。风息雾散,仍是阳光灿烂。

在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的6个件文:

(1)core-site.xml

<configuration><property><name>fs.default.name</name><value>hdfs://Master:9000</value></property></configuration>

(2)hadoop-env.sh

在该件文中加上如下一行码代:

export JAVA_HOME=(你配置的jdk径路,比如:/usr/java/jdk1.6.0_25)

(3)hdfs-site.xml

<configuration><property><name>dfs.name.dir</name><value>/home/hadoop/temp/hadoop</value></property><property><name>dfs.data.dir</name><value>/home/hadoop/temp/hadoop</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.support.append</name><value>true</value></property></configuration>

(4)mapred-site.xml

<configuration><property><name>mapred.job.tracker</name><value>Master:9001</value></property><property><name>mapred.acls.enabled</name><value>false</value></property></configuration>

(5)Masters

Master

(6)Slaves

Slave1Slave2

3.2、步同安装包

将解压修改后的hadoop-1.0.3件文夹别分拷贝到Master、Slave1、Slave2的同相hadoop安装径路下。

3.3、启动Hadoop群集

进入Master的hadoop-1.0.3录目,执行以下作操:

bin/hadoop namenode -format//式格化namenode,第一次启动服务前执行的作操,后以不要需执行bin/start-all.sh //启动hadoopjps//用jps令命能看到除jps外有5个进程

至此,hadoop群集配置进程结束。可通过浏览器地址http://10.10.10.213:50070查看节点用启状态验证配置是不是胜利。

4、Zookeeper群集安装配置

4.1、修改zookeeper配置件文zoo.cfg

在centos系统下解压zookeeper安装包zookeeper-3.4.3.tar.gz,进入到conf录目,将zoo_sample.cfg拷贝一份命名为zoo.cfg(Zookeeper在启动时会找这个件文作为默许配置件文),开打该件文停止修为改以下式格(注意权限问题,如果最后配置有问题请检查进程中权限是不是准确)。

dataDir=/home/hadoop/temp/zookeeper/dataserver.0=10.10.10.213:2888:3888server.1=10.10.10.214:2888:3888server.2=10.10.10.215:2888:3888

4.2、新建录目、新建并编辑myid件文

(本次配置myid件文放在/home/hadoop/temp/zookeeper/data录目下)

mkdir /home/hadoop/temp/zookeeper/data//dataDir录目vi /home/hadoop/temp/zookeeper/data/myid

注意myid件文中的内容为:Master中为0,Slave1中为1,Slave2中为2,别分与zoo.cfg中对应起来。

4.3、步同安装包

将解压修改后的zookeeper-3.4.3件文夹别分拷贝到Master、Slave1、Slave2的同相zookeeper安装径路下。注意:myid件文的内容不是一样的,各服务器中别分是对应zoo.cfg中的设置。

4.4、启动zookeeper

Zookeeper的启动与hadoop不一样,要需个每节点都执行,别分进入3个节点的zookeeper-3.4.3录目,启动zookeeper:

bin/zkServer.sh start

注意:此时如果报错先不会理,继承在另两台服务器中执行同相作操。

4.5、检查zookeeper是不是配置胜利

待3台服务器均启动后,如果进程准确的话zookeeper应当经已主动选好leader,进入每台服务器的zookeeper-3.4.3录目,执行以下作操查看zookeeper启动状态:

bin/zkServer.sh status

如果涌现以下码代表现安装胜利了。

[java] view plaincopyJMX enabled by default Using config: /home/hadoop/zookeeper-3.4.3/bin/../conf/zoo.cfg Mode: follower//或者有且只有一个leader

5、HBase群集安装配置

5.1、修改hbase配置件文

在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的3个件文:

(1)hbase-env.sh

export JAVA_HOME=/usr/lib/java/jdk1.6.0_25//JDK的安装录目export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.3/conf//hadoop的安装录目export HBASE_MANAGES_ZK=true

(2)hbase-site.xml

<configuration><property><name>hbase.rootdir</name><value>hdfs://Master:9000/hbase</value></property> <property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property><property><name>hbase.zookeeper.quorum</name><value>Master</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/temp/zookeeper</value></property><property><name>dfs.support.append</name><value>true</value></property></configuration>

(3)regionservers

Slave1Slave2

5.2、步同安装包

将解压修改后的hbase-0.94.1-security件文夹别分拷贝到Master、Slave1、Slave2的同相hbase安装径路下。

5.3、启动HBase

进入Master的hbase-0.94.1-security录目,执行以下作操:

bin/start-hbase.sh//之后用jps查看是不是全部进程都已启动

至此,hbase服务配置进程结束。可通过浏览器地址http://10.10.10.213:60010查看hbase是不是可用。

也可以执行以下令命,进入hbaseshell停止验证。

6、结语

关于hadoop、zookeeper、hbase的启动与闭关序顺:启动时hadoop和zookeeper意随前后,但是hbase必须最后启动,闭关时hbase必须首先闭关,然后意随前后闭关hadoop、zookeeper。否则,会涌现异常。

关于各软件的安装包可以去官网下载,不同版本的安装配置可能会有少量的变化,而且版本搭配如果不一样的话也可能涌现问题,有问题就针对性地去查,这样学习才有步进。

文章结束给大家分享下程序员的一些笑话语录: 打赌

飞机上,一位工程师和一位程序员坐在一起。程序员问工程师是否乐意和他一起玩一种有趣的游戏。工程师想睡觉,于是他很有礼貌地拒绝了,转身要睡觉。程序员坚持要玩并解释说这是一个非常有趣的游戏:"我问你一个问题,如果你不知道答案,我付你5美元。然后你问我一个问题,如果我答不上来,我付你5美元。"然而,工程师又很有礼貌地拒绝了,又要去睡觉。程序员这时有些着急了,他说:"好吧,如果你不知道答案,你付5美元;如果我不知道答案,我付50美元。"果然,这的确起了作用,工程师答应了。程序员就问:"从地球到月球有多远?"工程师一句话也没有说,给了程序员5美元。现在轮到工程师了,他问程序员:"什么上山时有三条腿,下山却有四条腿?"程序员很吃惊地看着工程师,拿出他的便携式电脑,查找里面的资料,过了半个小时,他叫醒工程师并给了工程师50美元。工程师很礼貌地接过钱又要去睡觉。程序员有些恼怒,问:"那么答案是什么呢?"工程师什么也没有说,掏出钱包,拿出5美元给程序员,转身就去睡觉了。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。