经过多天的针对Hadoop-3.1.2的安装,查询了很多资料,跳了很多坑,也爬了很多坑,写该文档记录下。
对服务器规划如下
安装好3个虚拟机好,开始安装和部署Hadoop-3.X,过程主要分为:
第一阶段:网络配置阶段
(1)配置IP网络地址
cd /etc/sysconfig/network-scripts
vi ifcfg-ens33 //ifcfg-ens33 文件,不同的系统有不同的文件名称
添加内容如下
(2)重启网络服务
systemctl restart network
(3) 停止防火墙
systemctl disable firewalld.service
(4).设置hostname
hostnamectl set-hostname master
(5) 修改hosts文件
vi /etc/hosts
(6)重启虚拟机
reboot
第二阶段:安装和配置jdk/Hadoop阶段
(1)通过xftp把jdk1.8和Hadoop-3.1.2安装包上传到/opt中
(2)把jdk1.8安装到/opt中
tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -C /opt/
(3)把hadoop-3.1.2安装到/opt中
tar -zxvf /opt/hadoop-3.1.2.tar.gz -C /opt/
(4)把文件夹权限复制给root用户
chown -R root /opt/
(5)把jdk和hadoop的安装路径配置在环境变量中
vi /etc/profile
添加内容为
export JAVA_HOME=/opt/jdk1.8.0_231export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop-3.1.2export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_LIBRARY_PATH=/opt/hadoop-3.1.2/lib/native
(6)使配置生效
source /etc/profile
(7)查看jdk和hadoop是否安装成功
查看jdk和hadoop是否安装成功
(8) 配置hadoop配置文件中的java路径
(9)配置hadoop xml文件
cd /opt/hadoop-3.1.2/etc/hadoop
(I) core-site.xml
(II)hdfs-site.xml
(III)mapred-site.xml
(IV)yarn-site.xml
(V)worker
(10) 配置start-dfs.sh stop-dfs.sh 和start-yarn.sh stop-yarn.sh
(I) start-dfs.sh stop-dfs.sh
(II) start-yarn.sh stop-yarn.sh
第三阶段:克隆以构建集群
(1).把配置好的master虚拟机克隆,并生成两个slaver01 slaver02
(2)修改slaver01 和slaver02的 IP 和hostname
第四阶段:SSH登录配置
(1)分别在master/ slaver01/slaver02 运行命令以生产RSA密文
ssh-keygen -t rsa
(2)把文件copy到认证的服务器中
第五阶段:Hadoop初始化和常用命令
(1). 进行初始化
hdfs namenode -format
(2) 常用命令
(I)启动hadoop start-all.sh
(II)停止hadoop stop-all.sh
(III)查看启动进程 jp
可以通过192.168.1.20:9870 查看hadoop运行情况,在Hadoop-3.X开始,默认端口号为9870
这些配置文件没有上传,需要的用户可以私信我,我把xml文件配置发给你
閱讀更多 Louis大數據技術站 的文章