Fork me on GitHub

HDFS 多目录配置 NameNode和DataNode

NameNode多目录配置

  namenode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性。

1.在hdfs-site.xml文件中增加如下内容

1
2
3
4
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

2.停止集群,删除data和logs中所有数据。

1
2
3
[liucw@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/
[liucw@hadoop103 hadoop-2.7.2]$ rm -rf data/ logs/
[liucw@hadoop104 hadoop-2.7.2]$ rm -rf data/ logs/

3.格式化集群并启动。

1
2
[liucw@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode –format
[liucw@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

4.查看结果

1
2
3
4
5
[liucw@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 liucw liucw 4096 12月 11 08:03 data
drwxrwxr-x. 3 liucw liucw 4096 12月 11 08:03 name1
drwxrwxr-x. 3 liucw liucw 4096 12月 11 08:03 name2


DataNode多目录配置

  datanode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本。

hdfs-site.xml配置如下

1
2
3
4
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

-----------------本文结束,感谢您的阅读-----------------