Fork me on GitHub

Hadoop 运行环境搭建

虚拟机网络模式设置为NAT

克隆虚拟机

修改为静态ip

1)修改IP地址

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
[liucw@hadoop102 hadoop]$ vi /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
#BOOTPROTO=dhcp
# 从dhcp改成static
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=eth0
UUID=9410076c-bee9-4886-af6c-537c17bcfee0
DEVICE=eth0
ONBOOT=yes
# 设置IP地址
IPADDR=192.168.1.102
# 设置子网掩码
NETMASK=255.255.255.0
# 设置网关
GATEWAY=192.168.1.1

如果不用static, 就可以联网

2)执行
[root@hadoop102 /]# service network restart

3)如果报错,reboot,重启虚拟机。
[root@hadoop102 /]# reboot

修改主机名

1
2
3
4
vi /etc/hosts
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103

关闭防火墙

1.iptables防火墙
1)查看防火墙开机启动状态: chkconfig iptables –list
2)关闭防火墙:
service iptables stop (临时关闭防火墙)
chkconfig iptables off (关闭防火墙开机启动)

2.firewall防火墙:
查看防火墙规则 firewall-cmd –list-all

systemctl stop firewalld.service(关闭防火墙)
systemctl disable firewalld.service(防火墙开机禁用)

3.vi /etc/sysconfig/selinux 将设置改为禁用:
SELINUX=disabled

在opt目录下创建文件

1)创建liucw用户
在root用户里面执行如下操作

1
2
[root@hadoop101 opt]# adduser liucw
[root@hadoop101 opt]# passwd liucw

2)设置liucw用户具有root权限
修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:

1
2
3
4
[root@hadoop101 liucw]# vi /etc/sudoers
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
liucw ALL=(ALL) ALL

修改完毕,现在可以用liucw帐号登录,然后用命令 su - ,即可获得root权限进行操作。

3)在/opt目录下创建文件夹
(1)在root用户下创建module、software文件夹

1
2
[root@hadoop101 opt]# mkdir module
[root@hadoop101 opt]# mkdir software

(2)修改module、software文件夹的所有者

1
2
3
4
[root@hadoop101 opt]# chown liucw:liucw module
[root@hadoop101 opt]# chown liucw:liucw sofrware
[root@hadoop101 opt]# ls -al
总用量 16

安装jdk

1)卸载现有jdk
(1)查询是否安装java软件:[root@hadoop101 opt]# rpm -qa|grep java
(2)如果安装的版本低于1.7,卸载该jdk:[root@hadoop101 opt]# rpm -e 软件包

2)解压jdk到/opt/module目录下
[root@hadoop101software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

3)配置jdk环境变量
(1)打开配置/etc/profile文件:

1
2
3
4
[root@hadoop101 jdk1.8.0_144]# vi /etc/profile
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

(2)让修改后的文件生效:
[root@hadoop101 jdk1.7.0_79]# source /etc/profile

4)测试jdk安装成功
[root@hadoop101 jdk1.8.0_144]# java -version
java version “1.8.0_144”

(如果java –version不可以用就要重启):
[root@hadoop101 jdk1.8.0_144]# sync
[root@hadoop101 jdk1.8.0_144]# reboot

安装Hadoop

1)解压安装文件到/opt/module下面
[root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/

2)在/opt/module/hadoop-2.7.2/etc/hadoop路径下配置hadoop-env.sh
(1)Linux系统中获取jdk的安装路径:
$ echo $JAVA_HOME
/opt/module/jdk1.8.0_144

(2)修改hadoop-env.sh文件中JAVA_HOME 路径:
[root@hadoop101 hadoop]# vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

3)将hadoop添加到环境变量
(1)打开/etc/profile文件:

1
2
3
4
5
root@ hadoop101 hadoop-2.7.2]# vi /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(2)让修改后的文件生效:
root@ hadoop101 hadoop-2.7.2]# source /etc/profile

(3)重启(如果hadoop命令不能用再重启):
hadoop version
[root@ hadoop101 hadoop-2.7.2]# sync
[root@ hadoop101 hadoop-2.7.2]# reboot

4)修改/opt目录下的所有文件所有者为 liucw
[root@hadoop101 opt]# chown liucw:liucw -R /opt/

5)切换到liucw 用户
[root@hadoop101 opt]# su liucw

-----------------本文结束,感谢您的阅读-----------------