Abase for other temporary directories.secondarynamenode的web地址提供web訪問hdfs的權限

參數說明：

• dfs.replication指定HDFS的備份數為3
• dfs.name.dir指定namenode節點的文件存儲目錄
• dfs.data.dir指定datanode節點的文件存儲目錄

2.1.3 mapred-site.xml

 
 mapreduce.framework.name
 yarn
 
 
 mapreduce.jobtracker.address
 master:9010
 

說明：

• 貌似配置這個jobtracker沒什麼實際作用

2.1.4 yarn-site.xml

 
 yarn.nodemanager.aux-services
 mapreduce_shuffle
 
 
 yarn.resourcemanager.hostname
 ceph-1
 

注意：

• slave節點要配置yarn.resourcemanager.hostname屬性，否則NodeManager啟動不起來，會報找不到service的bug

2.1.5 slaves

#將slave的hostname寫入
ceph-1
ceph-2
ceph-3

2.2 修改hdfs配置文件(在slave上)

只需要將剛才修改好的配置文件複製到slave節點即可

scp -r /opt/hadoop-2.9.1/ ceph-2:/opt/
scp -r /opt/hadoop-2.9.1/ ceph-3:/opt/

slave節點不需要slaves文件，但留著也無礙

3. HDFS啟動

#格式化namenode
hadoop namenode -format
#啟動hdfs
sbin/start-dfs.sh
#啟動yarn
start-yarn.sh 

通過jps可查看進程

在master節點運行

[root@ceph-1 hadoop-2.9.1]# jps
2640956 Jps
2613197 NodeManager
2612859 SecondaryNameNode
2612442 NameNode
2613098 ResourceManager
2612632 DataNode

在slave節點運行

[root@ceph-2 logs]# jps
2566087 Jps
2534869 DataNode
2562436 NodeManager

說明：

• NodeManager是運行在單個節點上的代理，它管理Hadoop集群中單個計算節點，功能包括與ResourceManager保持通信，管理Container的生命週期、監控每個Container的資源使用(內存、CPU等）情況、追蹤節點健康狀況、管理日誌和不同應用程序用到的附屬服務等
• ResourceManager： 用於對外提供yarn服務，資源分配等，還負責託管用戶提交的mapreduce作業，負載均衡等

#停止hdfs
sbin/stop-all.sh

查看集群狀態

[root@ceph-1 hadoop-2.9.1]# hdfs dfsadmin -report
Configured Capacity: 42140381184 (39.25 GB)
Present Capacity: 31786508288 (29.60 GB)
DFS Remaining: 31786479616 (29.60 GB)
DFS Used: 28672 (28 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0
-------------------------------------------------
Live datanodes (1):
Name: 127.0.0.1:50010 (ceph-1)
Hostname: ceph-1
Decommission Status : Normal
Configured Capacity: 42140381184 (39.25 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 8404475904 (7.83 GB)
DFS Remaining: 31786479616 (29.60 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.43%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Jun 28 17:58:01 CST 2018
Last Block Report: Thu Jun 28 16:48:03 CST 2018

通過瀏覽器查看集群狀態

http://ceph-1:50070 #dfs.namenode.http-address 

注意坑點

1. Error: JAVA_HOME is not set and could not be found
2. 修改hadoop-env.sh

export JAVA_HOME={JAVA_HOME}
將上面的改成下面
export JAVA_HOME=/opt/jdk1.8.0_171

1. slave的datanode連接不上namenode
2. 修改master的/etc/hosts

#將下面這行去掉
127.0.0.1 localhost

收藏前點個關注把，小編會不定時給大家更新幹貨的呢

閱讀更多 故事你真的zai聽嗎 的文章

關鍵字: HDFS 主機名 文本編輯器