怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

由於安裝配置Hadoop牽涉的內容較多,我將Hadoop的安裝配置拆成了3篇文章來講述。

這是第三篇。

怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

參考我前面的文章:

一、怎麼進行分佈式計算和分佈式存儲?安裝大數據計算核心Hadoop

二、怎麼進行分佈式計算和分佈式存儲?第一次啟動Hadoop服務

本文的主要內容是:

1、日常Hadoop的啟動順序是怎樣的;

2、如何確認我的Hadoop相關軟件已經啟動了。


日常啟動hadoop

因為第一次啟動需要初始化很多東西,啟動起來就麻煩一些。但日常啟動就相對簡單一些,我們把相關的軟件啟動起來即可。本文可以作為日常的啟動使用手冊來看待。

Hadoop啟動順序:Zookeeper->Hadoop->Hbase>Hive…

怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇


0、停止所有服務

執行正確的Hadoop啟動之前,需要先將所有相關的軟件停止掉。否則,可能出現啟動不了的情況。

停止Hbase,最好在hadoop221(HMaster)上執行,如果沒安裝則不用管這個命令:

<code>stop-hbase.sh/<code>

停止所有的HDFS和YARN服務,最好在hadoop221(NameNode)上執行

<code>stop-all.sh/<code>
怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

停止歷史記錄服務,hadoop222上執行:

<code>mapred --daemon stop historyserver/<code>

停止Zookeeper服務,分別在hadoop226、hadoop227、hadoop228上操作:

<code>zkServer.sh stop/<code>
怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

至此,Hadoop相關服務已經全部停止,下面一個一個的再給它啟動起來:

1、啟動ZooKeeper

在hadoop226、hadoop227、hadoop228上分別執行以下命令:

<code>zkServer.sh stop/<code>
<code>zkServer.sh start/<code>
<code>jps/<code>
<code>zkServer.sh status/<code>

顯示如下內容,則啟動成功:

怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

如果啟動失敗,則去查看對應的日誌文件:/home/hadoop/zookeeper/logs/ zookeeper-hadoop-server-hadoop226.out,根據日誌文件的內容做對應的調整設置。

三臺Zookeeper服務啟動成功以後,再啟動Hadoop的HDFS服務。

2、啟動HDFS

其中一臺機器執行就OK了,比如:hadoop221。

為防止服務沒有停止完畢,則再執行一次停止服務:

<code>stop-dfs.sh/<code>

如果出現錯誤,則在hadoop-env.sh中,再顯式地重新聲明一遍JAVA_HOME:

<code>start-dfs.sh/<code>

執行命令查看:

<code>jps/<code>

hadoop221、hadoop222上顯示如下:

怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

hadoop223、224、225 …顯示如下:


怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

如果啟動失敗,則去查看對應的日誌文件:/home/hadoop/hadoop/logs/ hadoop-hadoop-namenode-hadoop221.log,根據日誌文件的內容做對應的調整設置。

確保HDFS所以的服務器啟動完畢之後,我們再啟動YARN。


3、啟動YARN

在主備 resourcemanager(hadoop226、hadoop227) 中隨便選擇一臺進行啟動。

為防止服務沒有停止完畢,則再執行一次停止服務:

<code>stop-yarn.sh/<code>

執行啟動YARN服務:

<code>start-yarn.sh/<code>

執行命令查看:

<code>jps/<code>

hadoop226、hadoop227 顯示如下:

怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

若備用節點的 resourcemanager 沒有啟動起來,則手動啟動起來,在hadoop227上進行手動啟動,執行下述命令:

<code>yarn-daemon.sh start resourcemanager/<code>

如果啟動失敗,則去查看對應的日誌文件:/home/hadoop/zookeeper/logs/ hadoop-hadoop-resourcemanager-hadoop226.log,根據日誌文件的內容做對應的調整設置。

HDFS和YARN啟動完畢之後,再啟動mapreduce任務歷史服務器。

4、啟動 mapreduce 任務歷史服務器

在hadoop222上執行如下命令:

為防止服務沒有停止完畢,則再執行一次停止服務:

<code>mapred --daemon stop historyserver/<code>

執行啟動歷史服務器服務:

<code>mapred --daemon start historyserver/<code>
怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

至此,所有的Hadoop的相關服務已經啟動完畢,已經可以正常使用了。

如果已經安裝了HBase,下面再將HBase啟動起來。

5、啟動HBase

hadoop221上執行(如果安裝了HBase則可以正常啟動)

為防止服務沒有停止完畢,則再執行一次停止服務:

<code>stop-hbase.sh/<code>

執行啟動HBase:

<code>start-hbase.sh/<code>
怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

如果你的啟動狀態跟我一樣,可以忽略顯示的那些錯誤。

6、查看各主節點的狀態

查看HDFS的NameNode1的服務狀態:

<code>[hadoop@hadoop221 ~] $ hdfs haadmin -getServiceState nn1/<code>

standby

查看HDFS的NameNode2的服務狀態:

<code>[hadoop@hadoop221 ~] $ hdfs haadmin -getServiceState nn2/<code>

active

如果兩個NameNode都是"standby"則執行:"hdfs --daemon start zkfc",再次激活一下選舉制度。

查看YARN的ResourceManager1的服務狀態:

<code>[hadoop@hadoop226 ~]$ yarn rmadmin -getServiceState rm1/<code>

active

查看YARN的ResourceManager2的服務狀態:

<code>[hadoop@hadoop226 ~]$ yarn rmadmin -getServiceState rm2/<code>

standby

怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇

NameNode和ResourceManager都是有兩個服務,而且總是一個active另一個standby。

7、WEB界面進行查看

WEB查看HDFS的NameNode的服務狀態:

NameNode1(hadoop221):

<code>http://hadoop221:50070/dfshealth.html#tab-overview/<code>

NameNode2(hadoop222):

<code>http://hadoop222:50070/dfshealth.html#tab-overview/<code>


WEB查看hadoop223的DataNode節點數據(hadoop224-228查看方法一樣):

<code>http://hadoop223:9864/datanode.html/<code>


WEB查看YARN的ResourceManager的服務狀態。

hadoop226或者hadoop227都可以,standby節點會自動跳到avtive節點:

<code>http://hadoop226:8088/cluster/<code>


WEB查看MapReduce歷史服務器:

<code>http://hadoop222:19888/jobhistory/<code>


HBase

WEB查看HMaster數據:

<code>http://hadoop221:16010//<code>

WEB查看RegionServer數據:

<code>http://hadoop228:16030//<code>


截止到現在,Hadoop的安裝配置已經全部結束,後面我會把其中的內容分成章節來分別介紹。

後續也會有Hadoop的使用方法和測試數據的介紹,敬請期待。

如果你喜歡我寫的文章,請點贊、評論和轉發。

怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇


分享到:


相關文章: