由於安裝配置Hadoop牽涉的內容較多,我將Hadoop的安裝配置拆成了3篇文章來講述。
這是第三篇。
![怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇](http://p2.ttnews.xyz/loading.gif)
參考我前面的文章:
一、怎麼進行分佈式計算和分佈式存儲?安裝大數據計算核心Hadoop
二、怎麼進行分佈式計算和分佈式存儲?第一次啟動Hadoop服務
本文的主要內容是:
1、日常Hadoop的啟動順序是怎樣的;
2、如何確認我的Hadoop相關軟件已經啟動了。
日常啟動hadoop
因為第一次啟動需要初始化很多東西,啟動起來就麻煩一些。但日常啟動就相對簡單一些,我們把相關的軟件啟動起來即可。本文可以作為日常的啟動使用手冊來看待。
Hadoop啟動順序:Zookeeper->Hadoop->Hbase>Hive…
![怎麼安裝大數據計算核心軟件Hadoop?進行分佈式計算和存儲第三篇](http://p2.ttnews.xyz/loading.gif)
0、停止所有服務
執行正確的Hadoop啟動之前,需要先將所有相關的軟件停止掉。否則,可能出現啟動不了的情況。
停止Hbase,最好在hadoop221(HMaster)上執行,如果沒安裝則不用管這個命令:
<code>stop-hbase.sh/<code>
停止所有的HDFS和YARN服務,最好在hadoop221(NameNode)上執行
<code>stop-all.sh/<code>
停止歷史記錄服務,hadoop222上執行:
<code>mapred --daemon stop historyserver/<code>
停止Zookeeper服務,分別在hadoop226、hadoop227、hadoop228上操作:
<code>zkServer.sh stop/<code>
至此,Hadoop相關服務已經全部停止,下面一個一個的再給它啟動起來:
1、啟動ZooKeeper
在hadoop226、hadoop227、hadoop228上分別執行以下命令:
<code>zkServer.sh stop/<code>
<code>zkServer.sh start/<code>
<code>jps/<code>
<code>zkServer.sh status/<code>
顯示如下內容,則啟動成功:
如果啟動失敗,則去查看對應的日誌文件:/home/hadoop/zookeeper/logs/ zookeeper-hadoop-server-hadoop226.out,根據日誌文件的內容做對應的調整設置。
三臺Zookeeper服務啟動成功以後,再啟動Hadoop的HDFS服務。
2、啟動HDFS
其中一臺機器執行就OK了,比如:hadoop221。
為防止服務沒有停止完畢,則再執行一次停止服務:
<code>stop-dfs.sh/<code>
如果出現錯誤,則在hadoop-env.sh中,再顯式地重新聲明一遍JAVA_HOME:
<code>start-dfs.sh/<code>
執行命令查看:
<code>jps/<code>
hadoop221、hadoop222上顯示如下:
hadoop223、224、225 …顯示如下:
如果啟動失敗,則去查看對應的日誌文件:/home/hadoop/hadoop/logs/ hadoop-hadoop-namenode-hadoop221.log,根據日誌文件的內容做對應的調整設置。
確保HDFS所以的服務器啟動完畢之後,我們再啟動YARN。
3、啟動YARN
在主備 resourcemanager(hadoop226、hadoop227) 中隨便選擇一臺進行啟動。
為防止服務沒有停止完畢,則再執行一次停止服務:
<code>stop-yarn.sh/<code>
執行啟動YARN服務:
<code>start-yarn.sh/<code>
執行命令查看:
<code>jps/<code>
hadoop226、hadoop227 顯示如下:
若備用節點的 resourcemanager 沒有啟動起來,則手動啟動起來,在hadoop227上進行手動啟動,執行下述命令:
<code>yarn-daemon.sh start resourcemanager/<code>
如果啟動失敗,則去查看對應的日誌文件:/home/hadoop/zookeeper/logs/ hadoop-hadoop-resourcemanager-hadoop226.log,根據日誌文件的內容做對應的調整設置。
HDFS和YARN啟動完畢之後,再啟動mapreduce任務歷史服務器。
4、啟動 mapreduce 任務歷史服務器
在hadoop222上執行如下命令:
為防止服務沒有停止完畢,則再執行一次停止服務:
<code>mapred --daemon stop historyserver/<code>
執行啟動歷史服務器服務:
<code>mapred --daemon start historyserver/<code>
至此,所有的Hadoop的相關服務已經啟動完畢,已經可以正常使用了。
如果已經安裝了HBase,下面再將HBase啟動起來。
5、啟動HBase
hadoop221上執行(如果安裝了HBase則可以正常啟動)
為防止服務沒有停止完畢,則再執行一次停止服務:
<code>stop-hbase.sh/<code>
執行啟動HBase:
<code>start-hbase.sh/<code>
如果你的啟動狀態跟我一樣,可以忽略顯示的那些錯誤。
6、查看各主節點的狀態
查看HDFS的NameNode1的服務狀態:
<code>[hadoop@hadoop221 ~] $ hdfs haadmin -getServiceState nn1/<code>
standby
查看HDFS的NameNode2的服務狀態:
<code>[hadoop@hadoop221 ~] $ hdfs haadmin -getServiceState nn2/<code>
active
如果兩個NameNode都是"standby"則執行:"hdfs --daemon start zkfc",再次激活一下選舉制度。
查看YARN的ResourceManager1的服務狀態:
<code>[hadoop@hadoop226 ~]$ yarn rmadmin -getServiceState rm1/<code>
active
查看YARN的ResourceManager2的服務狀態:
<code>[hadoop@hadoop226 ~]$ yarn rmadmin -getServiceState rm2/<code>
standby
NameNode和ResourceManager都是有兩個服務,而且總是一個active另一個standby。
7、WEB界面進行查看
WEB查看HDFS的NameNode的服務狀態:
NameNode1(hadoop221):
<code>http://hadoop221:50070/dfshealth.html#tab-overview/<code>
NameNode2(hadoop222):
<code>http://hadoop222:50070/dfshealth.html#tab-overview/<code>
WEB查看hadoop223的DataNode節點數據(hadoop224-228查看方法一樣):
<code>http://hadoop223:9864/datanode.html/<code>
WEB查看YARN的ResourceManager的服務狀態。
hadoop226或者hadoop227都可以,standby節點會自動跳到avtive節點:
<code>http://hadoop226:8088/cluster/<code>
WEB查看MapReduce歷史服務器:
<code>http://hadoop222:19888/jobhistory/<code>
HBase
WEB查看HMaster數據:
<code>http://hadoop221:16010//<code>
WEB查看RegionServer數據:
<code>http://hadoop228:16030//<code>
截止到現在,Hadoop的安裝配置已經全部結束,後面我會把其中的內容分成章節來分別介紹。
後續也會有Hadoop的使用方法和測試數據的介紹,敬請期待。
如果你喜歡我寫的文章,請點贊、評論和轉發。
閱讀更多 石哥話科技 的文章