Fork me on GitHub

Hadoop 完全分布式部署

前期准备

SSH无密码登录

1)ssh连接时出现Host key verification failed

1
2
3
4
5
6
7
[liucw@hadoop102 opt] $ ssh 192.168.1.103
The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
直接输入yes后,再输入密码,可以通过

2)无密钥配置

1
2
3
4
5
6
7
8
9
10
11
(1)进入到我的家目录
[liucw@hadoop102 opt]$ cd ~/.ssh
(2)生成公钥和私钥:
[liucw@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(3)将公钥拷贝到要免密登录的目标机器上
[liucw@hadoop102 .ssh]$ ssh-copy-id hadoop103
[liucw@hadoop102 .ssh]$ ssh-copy-id hadoop104

3).ssh文件夹下的文件功能解释
  1)~/.ssh/known_hosts :记录ssh访问过计算机的公钥(public key)
  2)id_rsa :生成的私钥
  3)id_rsa.pub :生成的公钥
  4)authorized_keys :存放授权过得无秘登录服务器公钥

脚本xsync:利用rsync命令编写集群分发

rsync 与 scp

1).rsync
-r 递归
rsync -rvl /opt/tmp root@hadoop103:/opt

2).scp
scp -r root@hadoop101:/opt/software root@hadoop102:/opt/

3).rsync和scp区别
  rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。
  scp是把所有文件都复制过去。

集群分发脚本xsync

1.需求
  1.需求分析:循环复制文件到所有节点的相同目录下。
  2.原始拷贝:rsync -rvl /opt/module root@hadoop103:/opt/
  3.在/usr/local/bin这个目录下存放的脚本,可以在系统任何地方直接执行。

2.编写脚本
1).在/usr/local/bin目录下创建xsync文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
param_count=$#
if test $[param_count] -eq 0; then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
filename=`basename ${p1}`
echo filename=${filename}
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=103; host<105; host++)); do
# echo ${pdir}/${filename} ${user}@hadoop${host}:${pdir}
echo --------------- hadoop${host} ----------------
rsync -rvl ${pdir}/${filename} ${user}@hadoop${host}:${pdir}
done

2).修改脚本 xsync 具有执行权限
[root@hadoop102 bin]# chmod 777 xsync
[root@hadoop102 bin]# chown liucw:liucw xsync

3).测试
[liucw@hadoop102 opt]$ xsync tmp/

结果会有另外两台机器上看到复制成功!

脚本xcall:在所有主机上同时执行相同的命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
1.在/usr/local/bin目录下创建xcall文件
[root@hadoop102 bin]# touch xcall
[root@hadoop102 bin]# vi xcall
#!/bin/bash
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi
echo -------------localhost----------
$@
for((host=102; host<=104; host++)); do
echo ----------hadoop$host---------
ssh hadoop$host $@
done
2.修改脚本 xcall 具有执行权限
[root@hadoop102 bin]# chmod 777 xcall
[root@hadoop102 bin]# chown liucw:liucw xcall
3.测试: xcall+操作命令
[root@hadoop102 ~]# xcall rm -rf /opt/tmp/

配置集群

规划集群

1.生产环境NameNode与SecondaryNameNode要单独放到一台服务器上,测试数据少可以放一起.
2.ResourceManager也很耗资源,需要跟NameNode,SecondaryNameNode在不同的服务器上

1
2
3
4
5
hadoop102 hadoop103 hadoop104
NameNode
DataNode DataNode DataNode
ResourceManager
NodeManager NodeManager NodeManager

配置文件

[liucw@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop

core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
[liucw@hadoop102 hadoop]$ vi core-site.xml
<!-- 指定HDFS中NameNode的地址,hadoop2.5的默认端口为8020 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<!-- hadoop运行时产生文件的存储目录 ,可指定多个 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
<!-- ++++++++++++++++ Oozie 配置 ++++++++++++++++ -->
<!-- 可以不配置-->
<!-- Oozie Server 的 Hostname -->
<property>
<name>hadoop.proxyuser.liucw.hosts</name>
<!-- 可以指定用户 -->
<value>*</value>
</property>
<!-- 默认是不允许操作Oozie的 -->
<!-- 允许被 Oozie 代理的用户组 -->
<property>
<name>hadoop.proxyuser.liucw.groups</name>
<value>*</value>
</property>

Hdfs配置

1)hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_181

2)slaves

1
2
3
hadoop102
hadoop103
hadoop104

不能写一行,不同回车多一行

3)hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<!-- 指定HDFS副本的数量,本地测试值为1就行了,节约空间 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 如果不配置,secondary会跟NameNode在同一台服务器-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:50070</value>
</property>
<!-- 浏览hdfs,UI网站展示用的 -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

yarn配置

1)yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_181

2)yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 日志聚集:应用运行完成后,将日志信息上传到HDFS系统上-->
<!-- 日志聚集功能开启 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<!-- 任务历史服务 页面配置:这个19888跟mapred-site.xml的要一致 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs/</value>
</property>
<!-- 防止在执行mapReduce时内存溢出 -->
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m</value>
</property>

mapreduce配置

1)mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_181

2)mapred-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[liucw@hadoop102 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[liucw@hadoop102 hadoop]$ vi mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 配置 MapReduce JobHistory Server 地址 ,默认端口10020 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<!-- 配置 MapReduce JobHistory Server web ui 地址, 默认端口19888 ,这个端口跟yarn-site.xml一致-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>


在集群上分发以上所有文件

1
2
3
4
5
6
7
[liucw@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[liucw@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
[liucw@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
[liucw@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves
……

集群启动及测试

  补充:hadoop-cdh版本的lib/native是空的,需要从正常的下复制过来,不然启动不了
  如果集群是第一次启动,需要格式化namenode。

  如果删除logs/ data/了,也要格式化

启动hdfs并测试

1.启动

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[liucw@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[liucw@hadoop102 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[liucw@hadoop103 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps
[liucw@hadoop104 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

2.测试

1
2
3
4
[liucw@hadoop102 hadoop-2.7.2]$ vim testdata.txt
[liucw@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -put testdata.txt /
bin/hdfs dfs -rm /testdata.txt

  在http://hadoop102:50070/explorer.html#/可看到数据即成功

启动yarn并测试

1.启动
[liucw@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

2.测试
[liucw@hadoop102 hadoop-2.7.2]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /testdata.txt /output

1.yarn的浏览器页面查看:http://hadoop103:8088/cluster
2.hdfs: 在http://hadoop102:50070/explorer.html#/ 可看到数据即成功
3.历史服务和日志的聚集查看 http://hadoop102:19888/jobhistory

启动历史服务并测试

[liucw@hadoop103 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

http://hadoop103:8088/cluster的history打开有页面即成功

默认端口及浏览器页面查看

1.默认端口及其含义
  1)fs.defaultFS:8020 或者9000
  2)dfs.namenode.http-address:50070
  3)dfs.datanode.address:50010
  4)SecondaryNameNode辅助名称节点端口号:50090
  5)yarn.resourcemanager.webapp.address:8088
  6) yarn历史服务器19888

2.浏览器页面查看
  1)hdfs的浏览器页面查看:http://hadoop102:50070/explorer.html#/
  2)yarn的浏览器页面查看:http://hadoop103:8088/cluster
  3)历史服务和日志的聚集查看 http://hadoop102:19888/jobhistory


集群时间同步

  时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。

配置时间同步实操:

时间服务器配置(必须root用户)

(1)检查ntp是否安装

1
2
3
4
[root@hadoop102 桌面]# rpm -qa|grep ntp
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64

(2)修改ntp配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@hadoop102 桌面]# vi /etc/ntp.conf
修改内容如下
a)修改1(设置本地网络上的主机不受限制。)
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b)修改2(设置为不采用公共的服务器)
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c)添加3(添加默认的一个内部时钟数据,使用它为局域网用户提供服务。)
server 127.127.1.0
fudge 127.127.1.0 stratum 10

(3)修改/etc/sysconfig/ntpd 文件

1
2
3
[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd
增加内容如下(让硬件时间与系统时间一起同步)
SYNC_HWCLOCK=yes

(4)重新启动ntpd

1
2
3
4
5
[root@hadoop102 桌面]# service ntpd status
ntpd 已停
[root@hadoop102 桌面]# service ntpd start
正在启动 ntpd:

(5)执行:
[root@hadoop102 桌面]# chkconfig ntpd on

其他机器配置(必须root用户)

1
2
3
4
5
6
7
8
9
10
(1)在其他机器配置10分钟与时间服务器同步一次
[root@hadoop103 hadoop-2.7.2]# crontab -e (回车)
编写脚本
*/10 * * * * /usr/sbin/ntpdate hadoop102
(2)修改任意机器时间
[root@hadoop103 hadoop]# date -s "2017-9-11 11:11:11"
(3)十分钟后查看机器是否与时间服务器同步
[root@hadoop103 hadoop]# date

配置集群常见问题

1)防火墙没关闭、或者没有启动yarn
INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2)ssh没有配置好
  root用户,为了使用xsync脚本
  liucw用户,为了集群启动

3)root用户和liucw两个用户启动集群不统一

4)datanode不被namenode识别问题
  Namenode在format初始化的时候会形成两个标识,blockPoolId和clusterId。新的datanode加入时,会获取这两个标识作为自己工作目录中的标识。
  一旦namenode重新format后,namenode的身份标识已变,而datanode如果依然持有原来的id,就不会被namenode识别。
  解决办法,删除datanode节点中的数据后,再次重新格式化namenode。

6)datanode和namenode进程同时只能工作一个
  1)第一次启动时没有问题
  2)第二次启动时,原来的datanode数据并没有删除掉,它在与新namenode通信时连接不上。导致集群不能正常启动。
  3)解决办法:在格式化之前,删除datanode里面的信息(默认在/tmp,如果配置了该目录,那就去你配置的目录下删除数据)

7)jps发现进程已经没有,但是重新启动集群,提示进程已经开启
  原因是在linux的根目录下/tmp目录中存在启动的进程临时文件,将集群相关进程删除掉,再重新启动集群。

8)8088端口连接不上

1
2
3
4
5
vi /etc/hosts
注释掉如下代码
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 hadoop102

9)错误Name node is in safe mode的解决方法?
  将本地文件拷贝到hdfs上去,结果上错误:Name node is in safe mode
  这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。
  可以通过以下命令来手动离开安全模式:
  bin/hadoop dfsadmin -safemode leave
  用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
  enter -进入安全模式
  leave -强制NameNode离开安全模式
  get -返回安全模式是否开启的信息
  wait -等待,一直到安全模式结束。

10) 各个datanode的storageID不一样,导致启动datanode不成功
  删除data/tmp/dfs/data/current目录

-----------------本文结束,感谢您的阅读-----------------