hadoop集群搭建(hadoop-3.1.3)

2020双十 阿里云服务器ECS团购特惠链接
一、系统配置
3台虚拟机
hadoop1: 4g内存 2核 80g硬盘 作为master节点
hadoop2 1g内存 1核 8g硬盘 作为slave节点
hadoop3: 1g内存 1核 8g硬盘 作为slave节点

二、基础概念
hadoop主要包含了3个组件：存储组件hdfs、资源调度引擎yarn、计算引擎MapReduce.

1、hdfs集群
NameNode: 资源存储目录，负责维护整个HDFS文件系统的目录树以及每一个路径(文件)对应的block块信息
DataNode: 资源实际存储位置

2、yarn集群
ResourceManage: 负责资源的分配与调度
NodeManager: 负责接收 ResourceManager的资源分配请求，分配具体的资源给应用

三、hadoop集群搭建
1、下载安装包到hadoop1节点的/usr/local/softwareinstall目录

curl -O https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2、远程传输到hadoop2、hadoop3节点同目录下

scp hadoop-3.1.3.tar.gz  root@hadoop2:`pwd`
scp hadoop-3.1.3.tar.gz  root@hadoop3:`pwd`

3、解压安装包(3台节点同时操作)

tar -zxvf hadoop-3.1.3.tar.gz

4、添加hadoop环境变量

vim /etc/profile

添加如下配置

export HADOOP_HOME=/usr/local/softwareinstall/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile   #使修改生效

5、修改配置文件
(1)core-site.xml
添加如下配置

<configuration>
 <!--定义namenode地址 默认9000-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9003</value>
  </property>
 <!--修改用于hadoop存储数据的默认位置-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop</value>
  </property>
</configuration>

(2)workers文件

(3)hadoop-env.sh文件

告知hadoop jdk安装目录所在

(4)yarn-site.xml文件

<configuration>
    <!-- 设置ResourceManager 域名 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
  <!-- 开启yarn.webapp.ui2 -->
  <property>
    <description>To enable RM web ui2 application.</description>
    <name>yarn.webapp.ui2.enable</name>
    <value>true</value>
  </property>
    <!-- 默认为true, 当虚拟机内存不够多时，容易超出虚拟机内存 -->
    <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
      <description>Whether virtual memory limits will be enforced for containers.</description>
    </property>
</configuration>

当yarn.nodemanager.vmem-check-enabled默认为true时，使用flink构建yarn session，提示的异常信息。

Container [pid=7847,containerID=container_1589119427597_0002_02_000001] is running 69892608B beyond the 'VIRTUAL' memory limit. Current usage: 211.4 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

(5)修改/usr/local/softwareinstall/hadoop-3.1.3/sbin/目录下的start-dfs.sh、start-yarn.sh文件，在文件头添加如下用户设置(对应的stop-dfs.sh、stop-yarn.sh也要修改，此处为hadoop3的特殊配置处，不修改，启动失败)。
start-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

6、启动hdfs、yarn集群
6、启动集群(hdfs集群和yarn集群)
只需在master节点(hadoop1)上操作即可，

6.1 启动hdfs集群

hdfs namenode -format   #格式化hdfs文件系统
start-dfs.sh   #启动hdfs集群
stop-dfs.sh   #停止hdfs集群

6.2 启动yarn集群

start-yarn.sh    #启动yarn集群
stop-yarn.sh     #停止yarnjiqun

6.3 进程验证

可用start-all.sh一次性启动hdfs、yarn集群

7、ui界面登陆
7.1 hdfs集群管理 ui界面

7.2 yarn集群管理ui界面

yarn.webapp.ui2界面

各ui对应的端口查看

netstat -netlp

参考：
(1)https://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-common/ClusterSetup.html
(2)https://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/yarn-service/QuickStart.html