hadoop多机安装HA+YARN

1. HA

   相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA(热备)和Federation(联邦)。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。

   在一个典型的HDFSHA场景中，通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

   为了能够实时同步Active和Standby两个NameNode的元数据信息（实际上editlog），需提供一个共享存储系统，可以是NFS、QJM（Quorum Journal Manager）或者Bookeeper，Active Namenode将数据写入共享存储系统，而Standby监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内存中，以保证自己内存状态与Active NameNode保持基本一致，如此这般，在紧急情况下standby便可快速切为active namenode。

   【注意事项】

   (1)主备NameNode有多种配置方法，本课程使用Journal Node方式。为此，需要至少准备3个节点作为Journal Node(必须奇数个)，这三个节点可与其他服务，比如NodeManager共用节点

   (2)主备两个NameNode应位于不同机器上，这两台机器不要再部署其他服务，即它们分别独享一台机器。（注： HDFS 2.0中无需再部署和配置Secondary Name，备NameNode已经代替它完成相应的功能）

   (3)主备NameNode之间有两种切换方式：手动切换和自动切换，其中，自动切换是借助Zookeeper实现的，因此，需单独部署一个Zookeeper集群(通常为奇数个节点，至少3个)。本课程使用手动切换方式。

   

   在图中，Active NameNode作为主，Standby作为备。Standby和NameNode为了实现实时数据服务同步，使用JournalNode(奇数个)完成，当Active瘫痪时，可快速切换到Standby。

   

   一般将Active NameNode作为一个单独节点，然后DataNode和JournalNode作为同一个节点(JournalNode占的资源不多)，至于Standby NameNode应该做一个单独节点，这里放到DataNode和JournalNode的节点中，如上图，没有做一个单独节点，考虑实验机器问题。

2. 准备工作

   1) linux优化

   同2.1.8(1)。

   2) 配置节点

   对所有Node，配置vim /etc/hosts添加10.30.30.1    whaozl001等的ip映射；

   10.30.30.1 whaozl001

   10.30.30.5 whaozl005

   10.30.30.6 whaozl006

   10.30.30.7 whaozl007

   10.30.30.8 whaozl008

   10.30.30.2 whaozl002

   这里配置3个DataNode，1个NameNode，给每个节点主机修改主机名(虚拟机名称、ip映射名、linux主机名)：

   	主机名	ip地址(内网)	linux用户名	密码	充当角色
   NameNode	whaozl001(主)	10.30.30.1	haozhulin	123456	nn/rm
   NameNode	whaozl002(备)	10.30.30.2	haozhulin	123456	nn/sn
   DataNode	whaozl005	10.30.30.5	haozhulin	123456	dn/nm/jn
   DataNode	whaozl006	10.30.30.6	haozhulin	123456	dn/nm/jn
   DataNode	whaozl007	10.30.30.7	haozhulin	123456	dn/nm/jn
   DataNode	whaozl008	10.30.30.8	haozhulin	123456	dn/nm(无jn)

   【其他】集群逻辑名称为myhadoop，JournalNode共享命名空间为myspace，集群主NameNode和备NameNode逻辑名称为nn1和nn2。

   虚拟机名称就是虚拟机文件夹名。用户均为haozhulin，其在linux的/home目录下有一个haozhulin文件夹(用户文件夹)。在cluster中充当的角色(namenode, secondary namenode, datanode , resourcemanager, nodemanager,Standby namenode，JournalNode)。HA后就没有secondary namenode，Standby nameNode就充当这个角色。whaozl002作为备NameNode。

   【注意】这里特别注意，JournalNode一定必须是奇数个，所以whaozl008就不会作为jn咯。

3. 解压

   将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下，并解压,先让其有执行权限，然后直接./就可以解压

   chmod +x hadoop-2.2.0.tar.gz

   ./hadoop-2.2.0.tar.gz

   配置之前，在whaozl001主机的/home/haozhulin/install/hadoop-2.2.0/下建立三个文件夹：~/dfs/name、~/dfs/data、~/temp;

   接下来修改/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/下的7个文件。

   hadoop-env.sh

   core-site.xml

   hdfs-site.xml

   mapred-site.xml

   yarn-site.xml

   slaves

   yarn-env.sh

4. 修改hadoop-env.sh

   配置hadoop的jdk版本环境

   cd /home/haozhulin/install/hadoop-2.2.0/etc/hadoop/

   vim hadoop-env.sh

   hadoop-env.sh为hadoop环境变量，依赖JDK，进行如下修改

   #第27行

   export JAVA_HOME=/home/haozhulin/install/java/jdk1.7.0_09

5. 修改core-site.xml

   在其<configuration></ configuration >中插入：

   <!-- 制定HDFS的老大（NameNode）的地址 -->

   <property>

       <!--<name>fs.default.name</name>-->

       <name>fs.defaultFS</name>

       <!--若主备自动切换要配置逻辑名称,手动切换就写死-->

       <value>hdfs://whaozl001:9000</value>

   </property>

   <!--指定hadoop运行时产生文件的存储目录-->

   <property>

       <name>hadoop.tmp.dir</name>

       <value>file:///home/haozhulin/install/hadoop-2.2.0/tmp</value>

   </property>

    

   <!--指定hadoop运行的流文件的缓冲区，单位B，这里设置为128KB-->

   <property>

       <name>io.file.buffer.size</name>

       <value>131072</value>

   </property>

   <property>

       <name>hadoop.proxyuser.haozhulin.hosts</name>

       <value>*</value>

   </property>

   <property>

       <name>hadoop.proxyuser.haozhulin.groups</name>

       <value>*</value>

   </property>

   若使用zookeeper自动切换主备，在配置hdfs-site.xml中的dfs.namesservices之后，则core-site.xml中的fs.defaultFS对应的value值应为(即保持一致)：

   <property>

   <name>fs.defaultFS</name>

   <value>hdfs://myhadoop1 </value>

   </property>

6. 修改hdfs-site.xml

   在该文件中配置集群的逻辑名称、集群的NameNode(主/备)的逻辑名称

   在其<configuration></ configuration >中插入：

   <!-- HDFS命名服务的逻辑名称-->

   <property>

       <name>dfs.nameservices</name>

       <value>myhadoop </value>

   </property>

    

   <!--对myhadoop服务进行配置2个NameNode-->

   <property>

       <name>dfs.ha.namenodes.myhadoop</name>

       <value>nn1,nn2</value>

   </property>

    

   <!--对myhadoop服务进行配置rpc通信地址--->

   <property>

       <name>dfs.namenode.rpc-address.myhadoop.nn1</name>

       <value>whaozl001:8020</value>

   </property>

   <property>

       <name>dfs.namenode.rpc-address. myhadoop.nn2</name>

       <value>whaozl002:8020</value>

   </property>

    

   <!--对myhadoop服务进行配置http通信地址--->

   <property>

       <name>dfs.namenode.http-address.myhadoop.nn1</name>

       <value>whaozl001:50070</value>

   </property>

   <property>

       <name>dfs.namenode.http-address.myhadoop.nn2</name>

       <value>whaozl002:50070</value>

   </property>

    

   <!--指定主NameNode/备NameNode同步元数据信息在JournalNode上的存放位置-->

   <!--myhadoop为JournalNode同步元数据信息的集群命名空间，可与myhadoop不同-->

   <property>

       <name>dfs.namenode.shared.edits.dir</name>

       <value>qjournal://whaozl005:8485; whaozl006:8485; whaozl007:8485/myspace</value>

   </property>

    

   <!--主和备是否自动切换，这里设置否-->

   <property>

       <name>dfs.ha.automatic-failover.enabled</name>

       <value>false</value>

   </property>

   <!--指定JournalNode在本地磁盘存放数据的位置-->

   <property>

       <name>dfs.journalnode.edits.dir</name>

       <value>/home/haozhulin/install/hadoop-2.2.0/dfs/journal/</value>

   </property>

    

   <!--配置NameNode元信息存放的路径，推荐配置多个，逗号隔开-->

   <property>

       <name>dfs.namenode.name.dir</name>

       <value>file:///home/haozhulin/install/hadoop-2.2.0/dfs/name</value>

   </property>

   ß配置DataNode数据信息存放的路径，可配置多个，逗号隔开-->

   <property>

       <name>dfs.datanode.data.dir</name>

       <value>file:///home/haozhulin/install/hadoop-2.2.0/dfs/data</value>

   </property>

    

   <!--指定HDFS存在block的副本数量，默认值是3个，现有4个DataNode，该值不大于4即可-->

   <property>

       <name>dfs.replication</name>

       <value>2</value>

   </property>

   <property>

       <name>dfs.webhdfs.enabled</name>

       <value>true</value>

   </property>

7. 修改mapred-site.xml

   从template命名mapred-site.xml后<configuration></configuration>中插入：

   <!-- 指定mr运行在yarn上 -->

   <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

   <property>

       <name>mapreduce.jobhistory.address</name>

       <value>whaozl001:10020</value>

   </property>

   <property>

       <name>mapreduce.jobhistory.webapp.address</name>

       <value> whaozl001:19888</value>

   </property>

8. 修改yarn-site.xml

   在其<configuration></ configuration >中插入：

   <!-- 指定YARN的老大(ResourceManager)的地址 -->

   <property>

       <name>yarn.resourcemanager.hostname</name>

       <value>whaozl001</value>

   </property>

   <!-- reducer获取数据的方式 -->

   <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

   </property>

   <property>

       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

   </property>

    

   <!--whaozl001修改为${yarn.resourcemanager.hostname}-->

   <property>

       <name>yarn.resourcemanager.address</name>

       <value>${yarn.resourcemanager.hostname}:8032</value>

   </property>

   <property>

       <name>yarn.resourcemanager.scheduler.address</name>

       <value>${yarn.resourcemanager.hostname}:8030</value>

   </property>

   <property>

       <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>${yarn.resourcemanager.hostname}:8031</value>

   </property>

   <property>

       <name>yarn.resourcemanager.admin.address</name>

       <value>${yarn.resourcemanager.hostname}:8033</value>

   </property>

   <property>

       <name>yarn.resourcemanager.webapp.address</name>

       <value>${yarn.resourcemanager.hostname}:8088</value>

   </property>

    

   <!------------------------------------------------增加部分------------------------------------------------>

   <property>

       <name>yarn.resourcemanager.webapp.https.address</name>

       <value>${yarn.resourcemanager.hostname}:8090</value>

   </property>

   <property>

       <name>yarn.resourcemanager.scheduler.class</name>

       <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

   </property>

   <property>

       <name>yarn.scheduler.fair.allocation.file</name>

       <value>${yarn.home.dir}/etc/hadoop/fairscheduler.xml</value>

   </property>

   <property>

       <name>yarn.nodemanager.local-dirs</name>

       <value>/home/haozhulin/install/hadoop-2.2.0/yarn/local</value>

   </property>

   <property>

       <name>yarn.log-aggregation-enable</name>

       <value>true</value>

   </property>

   <property>

       <name>yarn.nodemanager.remote-app-log-dir</name>

       <value>/tmp/logs</value>

   </property>

   <property>

       <name>yarn.nodemanager.resource.memory-mb</name>

       <value>30720</value>

   </property>

   <property>

       <name>yarn.nodemanager.resource.cpu-vcores</name>

       <value>12</value>

   </property>

   <!------------------------------------------------------------------------------------------------------------>

9. 修改slaves

   #定位到/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/slaves文件

   vim etc/hadoop/slaves

   #由于是单机伪分布，所以DataNode就只有localhost

   #不需要修改，也可以改为127.0.0.1，都是指本机

   #slaves文件中记录所有的slave节点,写入以下内容

   #指定所有的DataNode节点列表，每行一个节点名称

   whaozl005

   whaozl006

   whaozl007

   whaozl008

10. 修改yarn-en.sh

    同修改hadoop-env.sh，修改里面的JAVA_HOME值。

11. 修改fairscheduler.xml

    fairscheduler.xml为yarn资源的分配配置，这里配置了3个队列(queue)，每一个队列的资源内存单位是MB，CPU为核数(vcores)。

    <?xml version="1.0"?>

    <allocations>

     

    <queue name="infrastructure">

        <minResources>102400 mb, 50 vcores </minResources>

        <maxResources>153600 mb, 100 vcores </maxResources>

        <maxRunningApps>200</maxRunningApps>

        <minSharePreemptionTimeout>300</minSharePreemptionTimeout>

        <weight>1.0</weight>

        <aclSubmitApps>root,yarn,search,hdfs,haozhulin</aclSubmitApps>

    </queue>

     

    <queue name="tool">

        <minResources>102400 mb, 30 vcores</minResources>

        <maxResources>153600 mb, 50 vcores</maxResources>

    </queue>

     

    <queue name="sentiment">

        <minResources>102400 mb, 30 vcores</minResources>

        <maxResources>153600 mb, 50 vcores</maxResources>

    </queue>

     

    </allocations>

12. 将配置复制到其他节点

    这里可以写一个shell脚本进行操作(有大量节点时比较方便)。

    scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl005:~/install

    scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl006:~/install

    scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl007:~/install

    scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl008:~/install

    scp –r /home/haozhulin/install/hadoop-2.2.0 haozhulin@whaozl002:~/install

    scp –r 表示递归到目录和目录中文件远程复制到目标主机，~表示当前用户目录(用户目录~/=/home/haozhulin)。可以先拷贝hadoop-2.2.0解压后，然后采用同步方法，只同步里面的etc/hadoop/下的配置文件即可 (一般还是全部同步过去，懒得拷贝)。

    scp –r /home/haozhulin/install/hadoop-2.2.0/etc/hadoop/* haozhulin@whaozl005:~/ install/hadoop-2.2.0/etc/hadoop/

13. 启动Hadoop

    启动和格式化步骤与其他的有部分地方不同：

    #Step1

    #在各个JournalNode节点whaozl005/whaozl006/whaozl007(没有whaozl008)上，输入以下命令启动journalnode服务

    sbin/hadoop-daemon.sh start journalnode

     

    #Step2

    #在[nn1]=[whaozl001]主机上，对其进行格式化(第一步)，并启动namenode：

    bin/hdfs namenode -format

    sbin/hadoop-daemon.sh start namenode

     

    #Step3

    在[nn2]=[whaozl002]主机上，同步nn1的元数据信息：

    bin/hdfs namenode –bootstrapStandby

     

    #Step4

    在[nn2]=[whaozl002]主机上，启动namenode：

    sbin/hadoop-daemon.sh start namenode

    #经过以上4步操作，nn1和nn2均处于standby状态

     

    #Step5

    #在nn1上将[nn1]切换为Active(这里是手动切换，如果配置了zookeeper就不需要这句，其自动)

    #nn1为hdfs-site.xml中的

    bin/hdfs haadmin -transitionToActive nn1

     

    #Step Last

    #在[nn1]上，启动所有datanode(daemons多一个s)

    sbin/hadoop-daemons.sh start datanode

     

    #Step Yarn

    #启动yarn

    sbin/start-yarn.sh

    【注意】可通过jps查看进程，只有第一次启动才格式化，下次启动应该省略掉格式化/同步元数据信息的操作(下面是精简总结)。

    sbin/hadoop-daemon.sh start journalnode#在各whaozl005/whaozl006/whaozl007上执行

    sbin/hadoop-daemon.sh start namenode#分别在主机whaozl001/whaozl002上执行

    bin/hdfs haadmin -transitionToActive nn1#若没zookeeper就在whaozl001上执行该句

    sbin/hadoop-daemons.sh start datanode#在whaozl001上执行

    #以上四句可以直接替换如下一句执行

    sbin/start-dfs.sh

    sbin/start-yarn.sh

     

14. 关闭Hadoop

    #在[nn1]=[whaozl001]上，输入以下命令

    sbin/stop-dfs.sh

15. 测试Hadoop

    #在[nn1]=[whaozl001]上

    #测试pi值

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 2 100

     

    #查看集群状态

    ./bin/hdfs dfsadmin –report

    #查看文件块组成

    ./bin/hdfsfsck / -files –blocks

    #查看HDFS:

    http://10.30.30.1:50070

    #查看RM

    http://10.30.30.1:8088