700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > HADOOP 伪分布式集群搭建

HADOOP 伪分布式集群搭建

时间:2023-05-15 09:43:26

相关推荐

HADOOP 伪分布式集群搭建

一 linux 环境的搭建

由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例

1. 搭建vmware 虚拟机

(1)创建好虚拟机后采用linux ISO镜像文件启动安装centos7操作系统(其它方式也可以)

(2)完成之后设置网络模式,笔者采用桥接模式进行设置

首先需要查看本机也就是宿主机的IP 地址以及网关,运行CMD命令进入DOS命令行窗口

输入ipconfig 记下宿主机的默认网关

打开vmware 网络适配器进行如下设置

设置网卡IP地址以及DNS

vi /etc/sysconfig/network-scripts/ifcfg-ens33进行如下配置

BOOTPROTO=static

ONBOOT=yes

IPADDR=你的IP地址

NETMASK=255.255.255.0

GETWAY=宿主机的网关地址

DNS1和DNS2

设置完成保存 进行重启网络服务

重启之后可以使用IPADDR 查看配置是否生效

设置主机名

首先查看主机名

笔者这里已经设置过了,未设置 hostname 应该是localhost

设置主机名

设置完成之后进行检查查看

设置hosts ip地址与主机名映射

vi /etc/hosts

关闭防火墙

禁用防火墙服务

关闭之后可以查看防火墙状态进行检查

进行selinux 安全设置

vi /etc/selinux/config 命令进行编辑 设置SELINUX=disabled

设置完成之后 输入命令reboot 进行重启,那么初始设置就设置好了

二 安装JDK 运行环境

由于Hadoop 依赖于JDK运行环境,笔者这里采用的是hadoop3.3.4版本,支持JDK11,所以笔者安装的也是JDK11 版本

1. 上传JDK 安装包至虚拟机后进行解压缩

2. 进入解压缩后的JDK目录 pwd 进行复制安装目录

3. 进行环境变量设置

在文件末尾追加如下内容 后退出保存

source /etc/profile 使环境变量设置生效

4.使用java -version java javac 命令检查JDK 是否安装成功

二 安装Hadoop

1. 上传好Hdoop 安装包之后进行解压缩

2. 进入hadoop 安装目录pwd 复制安装目录地址

3. 设置环境变量

打开之后追加如下内容

保存关闭后使用命令 source /etc/profile 使环境变量配置生效

4. 进入/usr/local mkdir 创建目录hadoop (此目录用于存储namenode secondnamenode 快照文件)后面需要使用进行配置

至此为止hadoop 安装完成

三 配置hadoop 伪分布式集群

1. 设置Hadoop 核心配置文件

进入Hadoop文件设置目录

其中有如下文件需要进行配置

1. core-site.xml

(这里的属性hadoop.tmp.dir 就是你的hadoop namenode 快照存储位置)

2. mapred-site.xml

3. hdfs-site.xml

HDFS 会以128M为单位将上传的文件进行切分为若干个block 存储在不同的datanode中,由于为了在不可靠的机器上进行提供可靠的服务,所以采用多副本机制进行存储。HDFS 副本数如果不进行设置则默认为3

(这里笔者关闭了hdfs的权限认证)

4.yarn-site.xml

5. hadoop-env.sh (运行环境配置)

添加安装好的JDK目录进入hadoop 运行环境配置

6. 添加主机名至works 文件

2. 添加用户配置信息

1. 进入hadoop sbin目录

2. 编辑如下内容进入以下文件

(1) start-all.sh (2) stop-all.sh (3)start-dfs.sh (4) stop-dfs.sh (5) start-yarn.sh (6) stop-yarn.sh

在这里以start-all.sh 为例:

3. 初始化HDFS 文件系统

如果是第一次安装使用Hadoop那么在启动之前需要出示话HDFS文件系统

看到如下信息则初始化完成

4. 设置SSH免密登录

由于Hdoop namenode 与datanode 内部通讯协议采用RPC协议,则需要进行设置SSH免密登录

这里笔者采用RSA 对称加密算法

1. 创建密钥

2. 添加密钥进本机

4. 启动hadoop

使用JPS 查看是否启动成功

至此为止hadoop 伪分布式集群搭建完成

由于笔者是第一次进行编写,如有什么地方写的有遗漏欢迎指出进行更新改进

谢谢!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。