Fork me on GitHub

HDFS NameNode故障处理方法

Namenode故障后,可以采用如下两种方法恢复数据。
  方法一:将SecondaryNameNode中数据拷贝到namenode存储数据的目录;
  方法二:使用-importCheckpoint选项启动namenode守护进程,从而将SecondaryNameNode中数据拷贝到namenode目录中。

手动拷贝SecondaryNameNode数据:

模拟namenode故障,并采用方法一,恢复namenode数据

1.kill -9 namenode进程

2.删除namenode存储的数据
[liucw@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

3.拷贝SecondaryNameNode中数据到原namenode存储数据目录
[liucw@hadoop102 dfs]$ scp -r liucw@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

4.重新启动namenode
[liucw@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

采用importCheckpoint命令拷贝SecondaryNameNode数据

模拟namenode故障,并采用方法二,恢复namenode数据

0)修改hdfs-site.xml中的

1
2
3
4
5
6
7
8
9
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>120</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

1)kill -9 namenode进程

2)删除namenode存储的数据
[liucw@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

3)如果SecondaryNameNode不和Namenode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到Namenode存储数据的平级目录,并删除in_use.lock文件。

1
2
3
4
5
6
7
8
9
[liucw@hadoop102 dfs]$ scp -r liucw@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./
[liucw@hadoop102 namesecondary]$ rm -rf in_use.lock
[liucw@hadoop102 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs
[liucw@hadoop102 dfs]$ ls
data name namesecondary

4)导入检查点数据(等待一会ctrl+c结束掉)
[liucw@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint

5)启动namenode
[liucw@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

-----------------本文结束,感谢您的阅读-----------------