Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

经过多天的针对Hadoop-3.1.2的安装,查询了很多资料,跳了很多坑,也爬了很多坑,写该文档记录下。

对服务器规划如下


Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

安装好3个虚拟机好,开始安装和部署Hadoop-3.X,过程主要分为:

第一阶段:网络配置阶段

(1)配置IP网络地址

cd /etc/sysconfig/network-scripts

vi ifcfg-ens33 //ifcfg-ens33 文件,不同的系统有不同的文件名称

添加内容如下

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(2)重启网络服务

systemctl restart network

(3) 停止防火墙

systemctl disable firewalld.service

(4).设置hostname

hostnamectl set-hostname master

(5) 修改hosts文件

vi /etc/hosts

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(6)重启虚拟机

reboot

第二阶段:安装和配置jdk/Hadoop阶段

(1)通过xftp把jdk1.8和Hadoop-3.1.2安装包上传到/opt中

(2)把jdk1.8安装到/opt中

tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -C /opt/

(3)把hadoop-3.1.2安装到/opt中

tar -zxvf /opt/hadoop-3.1.2.tar.gz -C /opt/

(4)把文件夹权限复制给root用户

chown -R root /opt/

(5)把jdk和hadoop的安装路径配置在环境变量中

vi /etc/profile

添加内容为

export JAVA_HOME=/opt/jdk1.8.0_231export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/opt/hadoop-3.1.2export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_LIBRARY_PATH=/opt/hadoop-3.1.2/lib/native

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(6)使配置生效

source /etc/profile

(7)查看jdk和hadoop是否安装成功

查看jdk和hadoop是否安装成功

(8) 配置hadoop配置文件中的java路径

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(9)配置hadoop xml文件

cd /opt/hadoop-3.1.2/etc/hadoop

(I) core-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(II)hdfs-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(III)mapred-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(IV)yarn-site.xml

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(V)worker

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(10) 配置start-dfs.sh stop-dfs.sh 和start-yarn.sh stop-yarn.sh

(I) start-dfs.sh stop-dfs.sh

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

(II) start-yarn.sh stop-yarn.sh

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤

第三阶段:克隆以构建集群

(1).把配置好的master虚拟机克隆,并生成两个slaver01 slaver02

(2)修改slaver01 和slaver02的 IP 和hostname

第四阶段:SSH登录配置

(1)分别在master/ slaver01/slaver02 运行命令以生产RSA密文

ssh-keygen -t rsa

(2)把文件copy到认证的服务器中

Centos7+Hadoop-3.X+JDK1.8 完全分布式详细步骤


第五阶段:Hadoop初始化和常用命令

(1). 进行初始化

hdfs namenode -format

(2) 常用命令

(I)启动hadoop start-all.sh

(II)停止hadoop stop-all.sh

(III)查看启动进程 jp


可以通过192.168.1.20:9870 查看hadoop运行情况,在Hadoop-3.X开始,默认端口号为9870

这些配置文件没有上传,需要的用户可以私信我,我把xml文件配置发给你



分享到:


相關文章: