hadoop 完全分布式集群搭建

1、在伪分布式基础上搭建，伪分布式搭建参见VM上Hadoop3.1伪分布式模式搭建

2、虚拟机准备，本次集群采用2.8.3版本与3.X版本差别不大，端口号所有差别

192.168.44.10 vmhome10.com
192.168.44.11 vmhome11.com
192.168.44.12 vmhome12.com

3、关闭防火墙，因为需要打开的端口太多，测试的环境，为了避免干扰先关闭防火墙

systemctl stop firewalld

4、三台虚机之间打开ssh免密登录，账户hadoop

ssh-keygen -t rsa 生产密钥

ssh-copy-id 192.168.44.10 发布密钥

5、配置JAVA_HOME

在${HADOOP_HOME}/etc/hadoop目录下的三个脚本
hadoop-env.sh 
yarn-env.sh
mapred-env.sh
都需要配置JAVA_HOME变量，全路径：
export JAVA_HOME=/home/java/jdk1.8.0_201

6、三个节点分配职能

vmhome10.com:NameNode,DataNode,NodeManager   #NameNode与SecondaryNameNode不能在一个节点上
vmhome11.com:DataNode,ResourceManager,NodeManager #ResourceManager需要单独一个节点
vmhome12.com:SecondaryNameNode,DataNode,NodeManager #DataNode可以每个节点都放一个

7、集群配置

7.1 core-site.xml

<configuration>
 <property>
      <name>fs.defaultFS</name>
      <value>hdfs://vmhome10.com:9000</value>
      <description>HDFS的URI，文件系统://namenode标识:端口号</description>
   </property>
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/hadoop/data-2.8.3/tmp</value>
      <description>namenode上本地的hadoop临时文件夹</description>
   </property>
</configuration>

7.2 hdfs-site.xml

<configuration>
  <property>
       <name>dfs.replication</name>
       <value>3</value>
       <description>副本个数，配置默认是3,应小于datanode机器数量</description>
   </property>

   <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/data-2.8.3/dfs/name</value>
        <description>namenode在本地存储hdfs名字空间元数据 </description>
   </property>

   <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/data-2.8.3/dfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
   </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>vmhome12.com:50090</value>
        <description>指定Hadoop辅助名称节点主机配置，注意3.x后端口已经改变</description>
   </property>

</configuration>

7.3 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>

  <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>vmhome11.com</value>
      <description>yarn的主机，运行resoucemanager</description>
   </property>

</configuration>

7.4 mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

7.5 历史服务配置

mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>vmhome12.com:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>vmhome12.com:19888</value>
</property>

7.6 日志聚集

yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

8、slaves

#集群，群起方式需要配置所有的节点在这个文件
vmhome10.com
vmhome11.com
vmhome12.com

9、复制配置到其他节点

scp -r hadoop-2.8.3/ hadoop@vmhome11.com:/opt/hadoop/
scp -r hadoop-2.8.3/ hadoop@vmhome12.com:/opt/hadoop/

10、群起集群

在NameNode的主机节点上执行（首次启动集群前，不要忘记先格式化namenode）
start-dfs.sh

在ResourceManager的主机节点上执行
start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

10.2 启动日志服务

在vmhome12.com节点上启动服务
mr-jobhistory-daemon.sh start historyserver

11、启停命令

各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件
hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode
（2）启动/停止YARN
yarn-daemon.sh  start / stop  resourcemanager / nodemanager


各个模块分开启动/停止（ssh免密）
（1）整体启动/停止HDFS
start-dfs.sh   /  stop-dfs.sh
（2）整体启动/停止YARN
start-yarn.sh  /  stop-yarn.sh

12、web页面

用yarn的主机节点看yarn资源分配情况
http://192.168.44.11:8088/

用Namnode的主机节点看hdfs的情况
http://192.168.44.10:50070/

 13、停止强制检查虚拟内存

在etc/hadoop/yarn-site.xml文件中，修改检查虚拟内存的属性为false，如下：
 

    <property>  
        <name>yarn.nodemanager.vmem-check-enabled</name>  
        <value>false</value>  
    </property>


目的是在开发环境用的虚拟机一般虚拟内存都不够hadoop的缺省配置，解除强制检查，省得测试程序的时候容器被kill。

 14、NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加可靠性，如果配置在NFS上，可作为一份元数据备份。即配置的多个目录里都有相同的内容（元数据信息）。

在hdfs-site.xml里配置name的多个dir，之间用逗号分隔

<property>
    <name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

 15、DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。

在hdfs-site.xml中：

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

16、退役节点

16.1 白名单方式，添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。

在etc/hadoop/下新增一个dfs.hosts文件，文件名可自己定义，在里面添加datanode节点

vi dfs.hosts
vmhome10.com
vmhome11.com
vmhome12.com

在hdfs-site.xml配置文件里新增：
<property>
<name>dfs.hosts</name>
<value>/opt/hadoop/etc/hadoop/dfs.hosts</value>
</property>

然后分发到其他节点

刷新NameNode和ResourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

节点退役后，如果数据不均衡，可以用命令实现集群的再平衡数据。

start-balancer.sh

16.2 黑名单方式

在hadoop的etc/hadoop/下新增dfs.hosts.exclude文件
里面配置需要退役的节点：
vi dfs.hosts.exclude

vmhome9.com

在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
<property>
      <name>dfs.hosts.exclude</name>
      <value>/opt/hadoop/etc/hadoop/dfs.hosts.exclude</value>
</property>

刷新NameNode和ResourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

在Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。

注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。

注意：不允许白名单和黑名单中同时出现同一个主机名称