一般大数据集群都是由Hadoop组成的，本文的最终目标是安装和配置两台Ubuntu服务器，让他们组成Hadoop的集群 。
首先要安装vmware workstation虚拟软件，这个安装方法和一般的软件一样，这里附一个安装版本，供大家下载。
链接:https://pan.baidu.com/s/1qY9LBGC 密码:21w9
1、用vmware workstation建立虚拟机，开始先不选择安装包
内存选择：如果本机是4G内存，则分配虚拟机1G内存
2、按默认要求来，完成虚拟机的初步配置
3、开始ubuntu的安装
选择镜像文件（我用的版本也在上面的网盘里下载），然后一步步的安装
4、选择电脑名称为hd1，密码为123456。注意Your name设置为ubuntu
5、打开Ubuntu虚拟机，打开终端编辑器
6、安装并进入VMware Tools。安装通过点击虚拟机->安装VMware Tools进行安装。
7、复制VMware Tools的压缩包到另一个文件目录下。这里放到了tmp目录下。
8、解压VMWare Tools
9、解压后进入vmware-tools-distrib
10、继续编写命令进行安装 sudo./vmware-install.pl
11、安装VMware Tools成功
12、利用 sudo aptinstall vim安装vim。安装完成后如下图。
13、输入reboot重启，同时重启后输入init 0关闭虚拟机
14、复制hd1文件夹，命名为hd2，放在存虚拟机的文件夹下
15、用记事本打开hd2文件夹下的hd1.vmx。修改其中的displayName为hd2.
再用VMware WorkStation打开hd1.vmx
16、分别启动两台虚拟机
17、根据电脑的ip配置/etc/hosts文件，给IP地址一个别名，方便后面操作。注意ip地址为你两台虚拟机的ip地址。用ifconfig命令可以查看本机IP。一般是191.168.开头的一串IP地址。我配置如下。
sudo vim /etc/hosts
192.168.241.132 hd1
192.168.241.130 hd2
18、安装openssh-server
19、启动ssh
20、保证每次开机时自动启动ssh
21、多机互信，两台虚拟机都要执行ssh-keygen-t rsa命令。
22、进行密钥的互信，两台虚拟机都要执行cat id_rsa.pub >> authorized_keys命令。
23、将hd1的文件拷到hd2上，同时把hd2的文件拷到hd1上
24、验证已经实现双机互信
25、在hd1上进行hadoop的安装
26、在hd1和hd2上进行java的安装。
两台主机都要执行sudo apt install default-jre命令。
27、在hd1和hd2上分别进行相关目录的创建
接下来需要配置hadoop集群文件
配置文件有7个：
/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh
/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh
/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves
/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml
/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml
28、配置env文件。28-34步只在hd1上完成
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
export HADOOP_HOME=/home/hadoop/hadoop
29、配置yarn-env文件
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
30、配置slave文件
hd1
hd2
31、配置core-site文件
<property>
<name>fs.defaultFS/<name>
<value>hdfs://hd1:9000/<value>
<property> /<property>
<name>io.file.buffer.size/<name>
<value>131072/<value>
<property>
<name>hadoop.tmp.dir/<name>
<value>file:/home/ubuntu/hadoop/tmp/<value>
<property>
<name>hadoop.proxyuser.hduser.hosts/<name>
<value>*/<value>
<property>
<name>hadoop.proxyuser.hduser.groups/<name>
<value>*/<value>
32、配置hdfs-site文件
<configuration>
<property>
<name>dfs.namenode.http-address/<name>
<value>hd1:50070/<value>
<property>
<name>dfs.namenode.secondary.http-address/<name>
<value>hd1:9001/<value>
<property>
<name>dfs.namenode.name.dir/<name>
<value>file:/home/ubuntu/hadoop/namenode/<value>
<property>
<name>dfs.datanode.data.dir/<name>
<value>file:/home/ubuntu/hadoop/hdfs/<value>
<property>
<name>dfs.replication/<name>
<value>1/<value>
<property>
<name>dfs.webhdfs.enabled/<name>
<value>true/<value>
<property>
<name>dfs.support.append/<name>
<value>true/<value>
<property>
<name>dfs.support.broken.append/<name>
<value>true/<value>
<property>
<name>dfs.permissions.enabled/<name>
<value>false/<value>
33、配置mapred-site文件
注意先将mapred-site.xml.template文件拷出，然后再使用vim命令
<property>
<name>mapreduce.framework.name/<name>
<value>yarn/<value>
<property>
<name>mapreduce.jobhistory.address/<name>
<value>hd1:10020/<value>
<property>
<name>mapreduce.jobhistory.webapp.address/<name>
<value>hd1:19888/<value>
34、配置yarn-site文件
<property>
<name>yarn.nodemanager.aux-services/<name>
<value>mapreduce_shuffle/<value>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class/<name>
<value>org.apache.hadoop.mapred.ShuffleHandler/<value>
<property>
<name>yarn.resourcemanager.address/<name>
<value>hd1:8032/<value>
<property>
<name>yarn.resourcemanager.scheduler.address/<name>
<value>hd1:8030/<value>
<property>
<name>yarn.resourcemanager.resource-tracker.address/<name>
<value>hd1:8031/<value>
<property>
<name>yarn.resourcemanager.admin.address/<name>
<value>hd1:8033/<value>
<property>
<name>yarn.resourcemanager.webapp.address/<name>
<value>hd1:8088/<value>
35、在hd1和hd2上配置路径文件。执行下面两条命令
sudo vim /etc/profile
export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin
36、在hd1上加入hadoop路径到path路径下
37、在hd1上格式化namenode，执行hadoop namenode -format命令
38、在hd1上进行文件的分发，注意命令行当前所在的位置。
39、验证是否安装成功
在hd1上建一个a.txt文件
拷到hdfs文件里面去
打印显示
自此安装成功
大数据开发高薪必备全套资源【免费获取】
Oracle高级技术总监多年精心创作一套完整课程体系【大数据、人工智能开发必看】，全面助力大数据开发
零基础+入门+提升+项目=高薪！
「大数据零基础入门」
「大数据架构系统组件」
「大数据全套系统工具安装包」
Java必备工具
大数据必备工具
「大数据行业必备知资讯」
「大数据精品实战案例」
「大数据就业指导方案」
最后说一下的，也就是以上教程的获取方式！
领取方法：
还是那个万年不变的老规矩
1.评论文章，没字数限制，一个字都行！
3.私信小编：“大数据开发教程”即可！
谢谢大家，祝大家学习愉快！（拿到教程后一定要好好学习，多练习哦!)
閱讀更多 微笑數據工程師 的文章
