Hadoop集群搭建

概念了解

主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是充当从服务器的角色，当前这种架构模式叫主从架构。

主从结构分类：

1. 一主多从
2. 多主多从

Hadoop中的hdfs和yarn都是主从结构，主从结构中的主节点和从节点有多重概念方式：

1.主节点      从节点

2.master  |  slave

3.管理者      工作者

4.leader       follower

5.primary     secondary

Hadoop集群中各个角色的名称：

服务	主节点	从节点
Hdfs	Namenode	Datanode
Yarn	resourcemanager	Nodemanager

服务	Ip	主机名	用户	Hdfs	Yarn
Hadoop1	192.168.1.10	Hadoop1	Hadoop	Namenode. Datanode	Nodemanager
Hadoop2	192.168.1.20	Hadoop2	Hadoop	Datanode	Nodemanager
Hadoop3	192.168.1.60	Hadoop3	Hadoop	Datanode. secondary Namenode	Nodemanager
Hadoop4	192.168.1.70	Hadoop4	Hadoop	Datanode	Resourcemanager. Nodemanager

四台服务器更改主机名

[root@localhost ~]# hostnamectl set-hostname hadoop1

[root@localhost ~]# hostnamectl set-hostname hadoop2

[root@localhost ~]# hostnamectl set-hostname hadoop3

[root@localhost ~]# hostnamectl set-hostname hadoop4

Logout

四台服务器创建Hadoop用户及密码

useradd Hadoop

echo "123123" |passwd hadoop –stdin

登录到刚刚创建的用户，在xshell里新建

四台服务器添加hosts文件（不能用Hadoop用户，要用root用户）

[root@hadoop1 ~]# vi /etc/hosts

192.168.1.10 hadoop1

192.168.1.20 hadoop2

192.168.1.60 hadoop3

192.168.1.70 hadoop4

安装Hadoop

Hadoop使用Java编写的，所以要先安装jdk，四台都要安装，在root用户下

jdk-8u181-linux-x64.tar.gz

tar xf  jdk-8u181-linux-x64.tar.gz

mv jdk1.8.0_181 /usr/local/java

加入环境变量

cat <<END>> /etc/profile

export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

export JAVA_HOME=/usr/local/java

export JRE_HOME=/usr/local/java/jre

export  CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=$PATH:$JAVA_HOME/bin

END