Abase for other temporary directories.secondarynamenode的web地址提供web访问hdfs的权限
参数说明：
- dfs.replication指定HDFS的备份数为3
- dfs.name.dir指定namenode节点的文件存储目录
- dfs.data.dir指定datanode节点的文件存储目录
2.1.3 mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobtracker.address
master:9010
说明：
- 貌似配置这个jobtracker没什么实际作用
2.1.4 yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
ceph-1
注意：
- slave节点要配置yarn.resourcemanager.hostname属性，否则NodeManager启动不起来，会报找不到service的bug
2.1.5 slaves
#将slave的hostname写入
ceph-1
ceph-2
ceph-3
2.2 修改hdfs配置文件(在slave上)
只需要将刚才修改好的配置文件复制到slave节点即可
scp -r /opt/hadoop-2.9.1/ ceph-2:/opt/
scp -r /opt/hadoop-2.9.1/ ceph-3:/opt/
slave节点不需要slaves文件，但留着也无碍
3. HDFS启动
#格式化namenode
hadoop namenode -format
#启动hdfs
sbin/start-dfs.sh
#启动yarn
start-yarn.sh
通过jps可查看进程
在master节点运行
[root@ceph-1 hadoop-2.9.1]# jps
2640956 Jps
2613197 NodeManager
2612859 SecondaryNameNode
2612442 NameNode
2613098 ResourceManager
2612632 DataNode
在slave节点运行
[root@ceph-2 logs]# jps
2566087 Jps
2534869 DataNode
2562436 NodeManager
说明：
- NodeManager是运行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包括与ResourceManager保持通信，管理Container的生命周期、监控每个Container的资源使用(内存、CPU等）情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等
- ResourceManager： 用于对外提供yarn服务，资源分配等，还负责托管用户提交的mapreduce作业，负载均衡等
#停止hdfs
sbin/stop-all.sh
查看集群状态
[root@ceph-1 hadoop-2.9.1]# hdfs dfsadmin -report
Configured Capacity: 42140381184 (39.25 GB)
Present Capacity: 31786508288 (29.60 GB)
DFS Remaining: 31786479616 (29.60 GB)
DFS Used: 28672 (28 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0
-------------------------------------------------
Live datanodes (1):
Name: 127.0.0.1:50010 (ceph-1)
Hostname: ceph-1
Decommission Status : Normal
Configured Capacity: 42140381184 (39.25 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 8404475904 (7.83 GB)
DFS Remaining: 31786479616 (29.60 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.43%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Jun 28 17:58:01 CST 2018
Last Block Report: Thu Jun 28 16:48:03 CST 2018
通过浏览器查看集群状态
http://ceph-1:50070 #dfs.namenode.http-address
注意坑点
- Error: JAVA_HOME is not set and could not be found
- 修改hadoop-env.sh
export JAVA_HOME={JAVA_HOME}
将上面的改成下面
export JAVA_HOME=/opt/jdk1.8.0_171
- slave的datanode连接不上namenode
- 修改master的/etc/hosts
#将下面这行去掉
127.0.0.1 localhost
收藏前点个关注把，小编会不定时给大家更新干货的呢
分享到:
閱讀更多 故事你真的zai聽嗎 的文章
