第十二章 HDFS 各种角色讲解

NameNode 和 SecondaryNameNode

NameNode 元数据的管理

WAL（Write ahead Log）: 预写日志系统

在计算机科学中，预写式日志（Write-ahead logging，缩写 WAL）是关系数据库系统中 用于提供原子性和持久性（ACID 属性中的两个）的一系列技术。在使用 WAL 的系统中，所 有的修改在提交之前都要先写入 log 文件中。

Log 文件中通常包括 redo 和 undo 信息。这样做的目的可以通过一个例子来说明。假设 一个程序在执行某些操作的过程中机器掉电了。在重新启动时，程序可能需要知道当时执行的操作是成功了还是部分成功或者是失败了。如果使用了 WAL，程序就可以检查 log 文件， 并对突然掉电时计划执行的操作内容跟实际上执行的操作内容进行比较。在这个比较的基础 上，程序就可以决定是撤销已做的操作还是继续完成已做的操作，或者是保持原样。

WAL 允许用 in-place 方式更新数据库。另一种用来实现原子更新的方法是 shadow paging， 它并不是 in-place 方式。用 in-place 方式做更新的主要优点是减少索引和块列表的修改。ARIES 是 WAL 系列技术常用的算法。在文件系统中，WAL 通常称为 journaling。PostgreSQL 也是用 WAL 来提供 point-in-time 恢复和数据库复制特性。

NN 和 2NN 工作机制

思考：NameNode 中的元数据存储在哪里

首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的 FsImage。

这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。因此，引入 Edits 文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到 Edits 中。这样，一旦NameNode节 点断电，可以通过 FsImage 和 Edits 的合并，合成元数据。

但是，如果长时间添加数据到 Edits 中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行 FsImage 和 Edits 的合并，如果这个操作由 NameNode 节点完成，又会效率过低。因此，引入一个新的节点 SecondaryNamenode，专门用于 FsImage 和 Edits 的合并

第一阶段：NameNode启动

（1）第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode 记录操作日志，更新滚动日志。

（4）NameNode 在内存中对数据进行增删改。

第二阶段：Secondary NameNode工作

（1）Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode 是否检查结果。

（2）Secondary NameNode 请求执行 CheckPoint。

（3）NameNode 滚动正在写的 Edits 日志。

（4）将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。

（5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。

（6）生成新的镜像文件 fsimage.chkpoint。

（7）拷贝 fsimage.chkpoint 到 NameNode。

（8）NameNode 将 fsimage.chkpoint 重新命名成 fsimage。

NN和2NN工作机制详解

Fsimage：NameNode 内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

NameNode 启动时，先滚动 Edits 并生成一个空的 edits.inprogress，然后加载 Edits 和 Fsimage 到内存中，此时 NameNode 内存就持有最新的元数据信息。Client 开始对 NameNode 发送元数据的增删改的请求，这些请求的操作首先会被记录到 edits.inprogress 中（查询元数据的操作不会被记录在 Edits 中，因为查询操作不会更改元数据信息），如果此时 NameNode 挂掉，重启后会从 Edits 中读取元数据的信息。然后，NameNode 会在内存中执行元数据的增删改的操作。

由于 Edits 中记录的操作会越来越多，Edits 文件会越来越大，导致 NameNode 在启动加载 Edits 时会很慢，所以需要对 Edits 和 Fsimage 进行合并（所谓合并，就是将 Edits 和 Fsimage 加载到内存中，照着 Edits中的操作一步步执行，最终形成新的 Fsimage）。SecondaryNameNode 的作用就是帮助 NameNode 进行Edits 和 Fsimage 的合并工作。

SecondaryNameNode 首先会询问是否需要（触发需要满足两个条件中的任意一个，定时时间到和中数据写满了）。直接带回是否检查结果。执行操作，首先会让滚动并生成一个空的，滚动的目的是给打个标记，以后所有新的操作都写入，其他未合并的和会拷贝到的本地，然后将拷贝的和加载到内存中进行合并，生成，然后将拷贝给，重命名为后替换掉原来的。在启动时就只需要加载之前未合并的和即可，因为合并过的中的元数据信息已经被记录在中。

Fsimage 和 Edits 解析

NameNode 被格式化以后，将在 /opt/module/hadoop-2.7.5/data/tmp/dfs/name/current 目录中产生如下文件

<code>fsimage_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION/<code>

1）Fsimage文件：HDFS 文件系统元数据的一个永久性的检查点，其中包含 HDFS 文件系统的所有目录和文件的序列化信息。

2）Edits文件：存放 HDFS 文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录在 Edits 文件中。

3）seen_txid文件：保存的是一个数字，就是最后一个edits_的数字。

4）每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits文件里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并。

oiv 查看 Fsimage 文件

（1）查看oiv和oev命令

<code>[bigdata@bigdata101 current]$ hdfs
oiv                 apply the offline fsimage viewer to an fsimage
oev                 apply the offline edits viewer to an edits file/<code>

（2）基本语法

<code>hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径/<code>

（3）案例实操

<code>[bigdata@bigdata101 current]$ hdfs oiv -p XML -i fsimage_0000000000000000085 -o /opt/module/hadoop-2.7.5/fsimage.xml
[bigdata@bigdata101 current]$ cat /opt/module/hadoop-2.7.5/fsimage.xml/<code>

部分显示结果如下。

<code>    <inode>
     16403
     <type>DIRECTORY/<type>
     <name>input/<name>
     <mtime>1583328317842/<mtime>
     <permission>bigdata:supergroup:rwxr-xr-x/<permission>
     <nsquota>-1/<nsquota>
     <dsquota>-1/<dsquota>
   /<inode>  
   <inode>
     16404
     <type>FILE/<type>
     <name>new_first.txt/<name>
     <replication>2/<replication>
     <mtime>1583327976984/<mtime>
     <atime>1583327976766/<atime>
     <perferredblocksize>134217728/<perferredblocksize>
     <permission>bigdata:supergroup:rw-r--r--/<permission>
     <blocks>
       <block>
         1073741834
         <genstamp>1010/<genstamp>
         <numbytes>12/<numbytes>
       /<block>
     /<blocks>
   /<inode> /<code>

思考：可以看出，Fsimage 中没有记录块所对应 DataNode，为什么？

在集群启动后，要求 DataNode 上报数据块信息，并间隔一段时间后再次上报。

oev查看Edits文件

（1）基本语法

<code>hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径/<code>

（2）案例实操

<code>[bigdata@bigdata101 current]$ hdfs oev -p XML -i edits_0000000000000000002-0000000000000000020 -o /opt/module/hadoop-2.7.5/edits.xml
[bigdata@bigdata101 current]$ cat /opt/module/hadoop-2.7.5/edits.xml/<code>

显示结果如下。

<code>
<edits>
 <edits>-63/<edits>
 <record>
   <opcode>OP_ADD/<opcode>
   <data>
     <txid>6/<txid>
     <length>0/<length>
     <inodeid>16389/<inodeid>
     <path>/user/bigdata/input/wc.input._COPYING_/<path>
     <replication>3/<replication>
     <mtime>1583046446241/<mtime>
     <atime>1583046446241/<atime>
     <blocksize>134217728/<blocksize>
     <client>DFSClient_NONMAPREDUCE_-1929635684_1/<client>
     <client>192.168.24.131/<client>
     <overwrite>true/<overwrite>
     <permission>
       <username>bigdata/<username>
       <groupname>supergroup/<groupname>
       <mode>420/<mode>
     /<permission>
     0de1babf-87ae-41dd-b251-910035b56e20
     3
   /<data>
 /<record>
 <record>

思考：NameNode如何确定下次开机启动的时候合并哪些Edits？

CheckPoint 时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。

查看 hadoop-hdfs-2.7.5.jar->hdfs-default.xml

<code><property>
 <name>dfs.namenode.checkpoint.period/<name>
 <value>3600/<value>
 <description>The number of seconds between two periodic checkpoints.
 /<description>
/<property>/<code>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

（3）当操作次数达到1百万时，SecondaryNameNode执行一次。

<code><property>
 <name>dfs.namenode.checkpoint.check.period/<name>
 <value>60/<value>
 <description>The SecondaryNameNode and CheckpointNode will poll the NameNode
every 'dfs.namenode.checkpoint.check.period' seconds to query the number
of uncheckpointed transactions.
 /<description>
/<property>
​
<property>
 <name>dfs.namenode.checkpoint.txns/<name>
 <value>1000000/<value>
 <description>The Secondary NameNode or CheckpointNode will create a checkpoint
of the namespace every 'dfs.namenode.checkpoint.txns' transactions, regardless

NameNode 故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录

1、kill -9 NameNode进程

2、删除 NameNode 存储的数据（/opt/module/hadoop-2.7.5/data/tmp/dfs/name）

<code>[bigdata@bigdata101 name]$ rm -rf /opt/module/hadoop-2.7.5/data/tmp/dfs/name/*/<code>

3、拷贝 SecondaryNameNode 中数据到原 NameNode 存储数据目录

<code>[bigdata@bigdata101 dfs]$ scp -r bigdata@bigdata103:/opt/module/hadoop-2.7.5/data/tmp/dfs/namesecondary/* ./name//<code>

4、重新启动 NameNode

<code>[bigdata@bigdata101 hadoop-2.7.5]$ sbin/hadoop-daemon.sh start namenode/<code>

方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

1、修改hdfs-site.xml中的

<code><property>
 <name>dfs.namenode.checkpoint.period/<name>
 <value>120/<value>
/<property>

<property>

2、kill -9 NameNode 进程

3、删除 NameNode 存储的数据（/opt/module/hadoop-2.7.5/data/tmp/dfs/name）

<code>[bigdata@bigdata101 hadoop-2.7.5]$ rm -rf /opt/module/hadoop-2.7.5/data/tmp/dfs/name/*/<code>

4、如果 SecondaryNameNode 不和 NameNode 在一个主机节点上，需要将 SecondaryNameNode 存储数据的目录拷贝到 NameNode 存储数据的平级目录，并删除 in_use.lock 文件

<code>[bigdata@bigdata101 dfs]$ scp -r bigdata@bigdata103:/opt/module/hadoop-2.7.5/data/tmp/dfs/namesecondary ./
[bigdata@bigdata101 namesecondary]$ rm -rf in_use.lock
[bigdata@bigdata101 dfs]$ pwd
/opt/module/hadoop-2.7.5/data/tmp/dfs
[bigdata@bigdata101 dfs]$ ls
data name namesecondary/<code>

5、导入检查点数据（等待一会ctrl+c结束掉）

<code>[bigdata@bigdata101 hadoop-2.7.5]$ bin/hdfs namenode -importCheckpoint/<code>

6、启动 NameNode

<code>[bigdata@bigdata101 hadoop-2.7.5]$ sbin/hadoop-daemon.sh start namenode/<code>

NameNode 多目录配置

1、NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。

2、具体配置如下

（1）在hdfs-site.xml文件中增加如下内容

<code><property>
<name>dfs.namenode.name.dir/<name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2
/<value>

（2）停止集群，删除data和logs中所有数据。

<code>[bigdata@bigdata101 hadoop-2.7.5]$ rm -rf data/ logs/
[bigdata@bigdata102 hadoop-2.7.5]$ rm -rf data/ logs/
[bigdata@bigdata103 hadoop-2.7.5]$ rm -rf data/ logs//<code>

（3）格式化集群并启动。

<code>[bigdata@bigdata101 hadoop-2.7.5]$ bin/hdfs namenode –format
[bigdata@bigdata101 hadoop-2.7.5]$ sbin/start-dfs.sh/<code>

（4）查看结果

<code>[bigdata@bigdata101 dfs]$ ll
总用量 12
drwx------. 3 bigdata bigdata 4096 3月   5 08:40 data
drwxrwxr-x. 3 bigdata bigdata 4096 3月   5 08:40 name1
drwxrwxr-x. 3 bigdata bigdata 4096 3月   5 08:40 name2/<code>

DataNode

DataNode工作机制

1）一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode 启动后向 NameNode 注册，通过后，周期性（1小时）的向 NameNode 上报所有的块信息。

3）心跳是每 3 秒一次，心跳返回结果带有 NameNode 给该 DataNode 的命令如复制块数据到另一台机器，或删除某个数据块。如果超过 10 分钟没有收到某个 DataNode 的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。

数据完整性

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？

如下是 DataNode 节点保证数据完整性的方法。

1）当 DataNode 读取 Block 的时候，它会计算 CheckSum。

2）如果计算后的 CheckSum，与 Block 创建时值不一样，说明 Block 已经损坏。

3）Client 读取其他 DataNode 上的 Block。

4）在其文件创建后周期验证，如图所示。

掉线时限参数设置

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<code><property>
 <name>dfs.namenode.heartbeat.recheck-interval/<name>
 <value>300000/<value>
 <description>
  This time decides the interval to check for expired datanodes.
  With this value and dfs.heartbeat.interval, the interval of
  deciding the datanode is stale or not is also calculated.
  The unit of this configuration is millisecond.
 /<description>
/<property>
​
<property>
 <name>dfs.heartbeat.interval/<name>
 <value>3/<value>
 <description>Determines datanode heartbeat interval in seconds./<description>
/<property>/<code>

服役新数据节点

0、需求

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

1、环境准备

（1）在 bigdata103 主机上再克隆一台 bigdata104 主机

（2）修改 IP 地址和主机名称

（3）删除原来 HDFS 文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）

（4）source 一下配置文件

<code>[bigdata@bigdata104 hadoop-2.7.5]$ source /etc/profile/<code>

2、 服役新节点具体步骤

（1）直接启动 DataNode，即可关联到集群

<code>[bigdata@bigdata104 hadoop-2.7.5]$ sbin/hadoop-daemon.sh start datanode
[bigdata@bigdata104 hadoop-2.7.5]$ sbin/yarn-daemon.sh start nodemanager/<code>

http://bigdata101:50070/dfshealth.html#tab-overview

（2）在 bigdata104 上上传文件

<code>[bigdata@bigdata104 hadoop-2.7.5]$ hadoop fs -put /opt/module/hadoop-2.7.5/LICENSE.txt //<code>

（3）如果数据不均衡，可以用命令实现集群的再平衡

<code>[bigdata@bigdata101 sbin]$ ./start-balancer.sh/<code>

退役旧数据节点

添加白名单

添加到白名单的主机节点，都允许访问 NameNode，不在白名单的主机节点，都会被退出。

配置白名单的具体步骤如下：

（1）在NameNode的 /opt/module/hadoop-2.7.5/etc/hadoop 目录下创建dfs.hosts文件

<code>[bigdata@bigdata101 hadoop]$ pwd
/opt/module/hadoop-2.7.5/etc/hadoop
[bigdata@bigdata101 hadoop]$ touch dfs.hosts
[bigdata@bigdata101 hadoop]$ vi dfs.hosts/<code>

添加如下主机名称（不添加 bigdata104）

<code>bigdata101
bigdata102
bigdata103/<code>

（2）在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

<code><property>
<name>dfs.hosts/<name>
<value>/opt/module/hadoop-2.7.5/etc/hadoop/dfs.hosts/<value>
/<property>/<code>

（3）配置文件分发

<code>[bigdata@bigdata101 hadoop]$ xsync hdfs-site.xml/<code>

（4）刷新NameNode

<code>[bigdata@bigdata101 hadoop-2.7.5]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful/<code>

（5）更新ResourceManager节点

<code>[bigdata@bigdata101 hadoop-2.7.5]$ yarn rmadmin -refreshNodes/<code>

（6）在web浏览器上查看

http://bigdata101:50070/dfshealth.html#tab-overview

（7）如果数据不均衡，可以用命令实现集群的再平衡

<code>[bigdata@bigdata101 sbin]$ ./start-balancer.sh/<code>

黑名单退役

在黑名单上面的主机都会被强制退出。

1、在 NameNode 的 /opt/module/hadoop-2.7.7/etc/hadoop 目录下创建 dfs.hosts.exclude 文件

<code>[bigdata@bigdata101 hadoop]$ pwd
/opt/module/hadoop-2.7.5/etc/hadoop
[bigdata@bigdata101 hadoop]$ touch dfs.hosts.exclude
[bigdata@bigdata101 hadoop]$ vi dfs.hosts.exclude/<code>

添加如下主机名称（要退役的节点）

bigdata104

2．在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<code><property>
<name>dfs.hosts.exclude/<name>
<value>/opt/module/hadoop-2.7.5/etc/hadoop/dfs.hosts.exclude/<value>
/<property>/<code>

3．刷新NameNode、刷新ResourceManager

<code>[bigdata@bigdata101 hadoop-2.7.5]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[bigdata@bigdata101 hadoop-2.7.5]$ yarn rmadmin -refreshNodes/<code>

4、检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点。

5、等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。

图3-18 已退役

<code>[bigdata@bigdata104 hadoop-2.7.5]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[bigdata@bigdata104 hadoop-2.7.5]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager/<code>

\\6. 如果数据不均衡，可以用命令实现集群的再平衡

<code>[bigdata@bigdata101 hadoop-2.7.5]$ sbin/start-balancer.sh /<code>

注意：不允许白名单和黑名单中同时出现同一个主机名称。

DataNode多目录配置

1、DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本

2、具体配置如下

hdfs-site.xml

<code><property>
<name>dfs.datanode.data.dir/<name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2
/<value>
/<property>/<code>