zoukankan      html  css  js  c++  java

  • hadoop2.7.1 HA安装部署（转）

    hadoop集群规划
    目标：创建2个NameNode，做高可用，一个NameNode挂掉，另一个能够启动；一个运行Yarn，3台DataNode，3台Zookeeper集群，做高可用。
    在 hadoop2中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
    这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
    安装我都把hadoop和Zookeeper放到了/soft/下面；

    0、系统环境安装

    操作系统CentOS6.5,64位操作系统，采用最小化安装，为了能够实现目标，采用VMware 虚拟机来搭建6台服务器，所以建议服务器至少有8G内存；vmware使用的是VMware® Workstation 11.0.0 build-2305329；
    网络配置如下：

     
     
    虚拟机配置如下：
     
     

    1、同步机器时间

    1. yum install -y ntp #安装时间服务
    2. ntpdate us.pool.ntp.org #同步时间
    2、设置主机IP
    1. vi /etc/sysconfig/network-scripts/ifcfg-eth0
    1. DEVICE=eth0
    2. IPADDR=192.168.8.101
    3. NETMASK=255.255.255.0
    4. GATEWAY=192.168.8.2
    5. HWADDR=00:0C:29:56:63:A1
    6. TYPE=Ethernet
    7. UUID=ecb7f947-8a93-488c-a118-ffb011421cac
    8. ONBOOT=yes
    9. NM_CONTROLLED=yes
    10. BOOTPROTO=none
    然后重启网络服务
    1. service network restart
    查看ip配置
    1. ifconfig eth0
    1. eth0 Link encap:Ethernet HWaddr 00:0C:29:6C:20:2B
    2. inet addr:192.168.8.101 Bcast:192.168.8.255 Mask:255.255.255.0
    3. inet6 addr: fe80::20c:29ff:fe6c:202b/64 Scope:Link
    4. UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
    5. RX packets:777 errors:0 dropped:0 overruns:0 frame:0
    6. TX packets:316 errors:0 dropped:0 overruns:0 carrier:0
    7. collisions:0 txqueuelen:1000
    8. RX bytes:70611 (68.9 KiB) TX bytes:49955 (48.7 KiB)
    这就说明我们配置的IP地址是成功的
     
    注意：
    使用vmware克隆了5台虚拟机，配置网卡的时候出现报错：”Bring up interface eth0：Device eth0 does not seem to be present，delaying initialization”
    解决步骤：
    第一步 删除文件70-persistent-net.rules
    1. rm -f /etc/udev/rules.d/70-persistent-net.rule
    第二步 修改ifcfg-eth0
    1. vim /etc/sysconfig/network-scripts/ifcfg-eth0
    删除或者注释MAC地址的配置

    第三步：重启服务器

     

    1. reboot
    这样就可以设置新的ip地址了

    3、设置主机名

    把一台主机的名称改为：hadoop01
    1. vi /etc/sysconfig/network
    修改hostname就可以了：
    1. NETWORKING=yes
    2. HOSTNAME=hadoop01
    3. NETWORKING_IPV6=no
    要修改hosts
    1. vi /etc/hosts
    1. 127.0.0.1 localhost
    2. 192.168.8.101 hadoop01 192.168.8.102 hadoop02 192.168.8.103 hadoop03 192.168.8.104 hadoop04 192.168.8.105 hadoop05 192.168.8.106 hadoop06

    关闭ipv6

    1、查看系统是否开启ipv6

    a）通过网卡属性查看

    命令：ifconfig

    注释：有 “inet6 addr：。。。。。。。“ 的表示开启了ipv6功能

    b）通过内核模块加载信息查看

    命令：lsmod | grep ipv6

    2、ipv6关闭方法

    在/etc/modprobe.d/dist.conf结尾添加

    1. alias net-pf-10 off
    2. alias ipv6 off
     

    可用vi等编辑器，也可以通过命令：

    cat <<EOF>>/etc/modprobe.d/dist.conf

     alias net-pf-10 off

     alias ipv6 off

    EOF

    关闭防火墙

    1. chkconfig iptables stop
    2. chkconfig iptables off
     

    改好后重启服务器：

    1. reboot
    hadoop02-hadoop06都需要设置

    4、安装JDK

    将压缩包解压到指定目录，然后编辑环境变量
    1. vi /etc/proflie
    在文件后面追加环境变量
    1. export JAVA_HOME=/soft/jdk1.7.0_80/
    2. export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
    刷新
    1. source /etc/profile
    可以用java -version测试安装是否正确

    5、SSH免密码登录

    对于需要远程管理其它机器，一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密，存在不安全因素，只适合内网访问。为
     
    解决这个问题，推出了通信加密通信协议，即SSH（Secure Shell）。使用非对称加密方式，传输内容使用rsa或者dsa加密，可以避免网络窃听。
     
    hadoop的进程之间同信使用ssh方式，需要每次都要输入密码。为了实现自动化操作，需要配置ssh免密码登陆方式。
     
    hadoop01hadoop02做为NameNode，要访问到其他的节点，我们要在hadoop01可以访问到hadoop01-hadoop06（记住hadoop01也需要免登陆自己），hadoop02可以访问到hadoop01，hadoop03是yarn服务，要可以访问到datanode，所以hadoop03要免登陆到hadoop04-hadoop06；
    首先要在hadoop01上生成ssh私钥和公钥
    1. cd /root/.ssh
    2. ssh-keygen -t rsa #4个回车
    上面的命令会在.ssh目录生成一个私钥和一个公钥
    1. id_rsa id_rsa.pub
     
    然后将hadoop01的公钥复制到hadoop02-hadoop06，用以下命令执行
    1. ssh-copy-id -i hadoop01
    2. ssh-copy-id -i hadoop02
    3. ssh-copy-id -i hadoop03
    4. ssh-copy-id -i hadoop04
    5. ssh-copy-id -i hadoop05
    6. ssh-copy-id -i hadoop06
    上面的命令一行一行执行，先输入yes，再输入机器的密码就可以了；
     
    现在我们来检验以一下hadoop01到hadoop05的免登陆
    我们在hadoop01中无密码登录hadoop05输入：
    1. [root@hadoop01 .ssh]# ssh hadoop05
    2. Last login: Tue Nov 10 17:43:41 2015 from 192.168.8.1
    3. [root@hadoop05 ~]#
    可以看到已经可以从hadoop01到hadoop05免登陆了；输入exit退出
    接下来设置hadoop02到hadoop01的免登陆
    在hadoop02的/root/.ssh中执行
    1. ssh-keygen -t rsa #4个回车
    1. ssh-copy-id -i hadoop01
     
     
    如果出现以上信息就表示配置成功了。用exit退出；
    那现在就很方便了，不用打开多个ssh，用一个就全搞定了；也可以配置一个hadoop用户，我现在都是使用root用户。
    同里也要配置hadoop03到hadoop04-hadoop06的免登陆，这里就不列出了。
     

    6、安装zookeeper

    要将zookeeper集群部署到hadoop04、hadoop05、hadoop06上，先来设置hadoop04，操作如下
    解压zookeeper到指定目录
    1. tar -zxvf zookeeper-3.4.6.tar.gz -C /root/soft
    切换到zookeeper目录的conf目录，修改zoo.sample.cfg为zoo.cfg
    1. mv zoo.sample.cfg zoo.cfg
    配置zoo.cfg
    1. vi zoo.cfg
    1. [root@hadoop04 conf]# vi zoo.cfg
    2. # The number of milliseconds of each tick
    3. tickTime=2000
    4. # The number of ticks that the initial
    5. # synchronization phase can take
    6. initLimit=10
    7. # The number of ticks that can pass between
    8. # sending a request and getting an acknowledgement
    9. syncLimit=5
    10. # the directory where the snapshot is stored.
    11. # do not use /tmp for storage, /tmp here is just
    12. # example sakes.
    13. dataDir=/soft/zookeeper-3.4.6/data
    14. # the port at which the clients will connect
    15. clientPort=2181
    16. # the maximum number of client connections.
    17. # increase this if you need to handle more clients
    18. #maxClientCnxns=60
    19. #
    20. # Be sure to read the maintenance section of the
    21. # administrator guide before turning on autopurge.
    22. #
    23. # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    24. #
    25. # The number of snapshots to retain in dataDir
    26. #autopurge.snapRetainCount=3
    27. # Purge task interval in hours
    28. # Set to "0" to disable auto purge feature
    29. #autopurge.purgeInterval=1
    31. server.1=192.168.8.104:2888:3888
    32. server.2=192.168.8.105:2888:3888
    33. server.3=192.168.8.106:2888:3888
     
    保存zoo.cfg
     
    server.1=192.168.8.104:2888:3888
    2888是通信端口，3888是zookeeper选举端口，这里用ip也可以，用主机名也可以。
    注意配置文件中的datadir
    dataDir=/soft/zookeeper-3.4.6/data
    这个目录要真实存在才可以；
    接下来要在/soft/zookeeper-3.4.6/data目录中增加一个文件"myid"
    1. vi myid
    文件里面写入1，然后保存，这表示是server.1;
     
    好了，这样就配置好了，将配置好的拷贝到hadoop05、hadoop06，注意要修改data目录中myid的内容为响应的2和3
     
    启动hadoop04、hadoop05、hadoop06的zookeeper服务
    zookeeper-3.4.6目录执行以下命令
    1. bin/zkServer.sh start #启动
    3. bin/zkServer.sh status #查看状态
    hadoop04的结果：
    1. [root@hadoop04 zookeeper-3.4.6]# bin/zkServer.sh status
    2. JMX enabled by default
    3. Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    4. Mode: leader
    hadoop05的结果：
    1. [root@hadoop05 zookeeper-3.4.6]# bin/zkServer.sh status
    2. JMX enabled by default
    3. Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    4. Mode: follower
    hadoop06的结果：
    1. [root@hadoop06 zookeeper-3.4.6]# bin/zkServer.sh status
    2. JMX enabled by default
    3. Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    4. Mode: follower
    接下来测试以下zookeeper集群，在hadoop04上关闭zookeeper
    1. bin/zkServer.sh stop
    hadoop04的结果：
    1. [root@hadoop04 zookeeper-3.4.6]# bin/zkServer.sh status
    2. JMX enabled by default
    3. Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    4. Error contacting service. It is probably not running.
    5. [root@hadoop04 zookeeper-3.4.6]#
    hadoop05的结果：
    1. [root@hadoop05 zookeeper-3.4.6]# bin/zkServer.sh status
    2. JMX enabled by default
    3. Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    4. Mode: follower
    hadoop06的结果：
    1. [root@hadoop06 zookeeper-3.4.6]# bin/zkServer.sh status
    2. JMX enabled by default
    3. Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    4. Mode: leader
    从上面结果可以看出，zookeeper集群是没有问题的，hadoop04挂掉，hadoop06就变成了leader，这说明zookeeper集群已经部署好了。
     

    7、hadoop安装

    现在hadoop01上面配置好，然后再拷贝到其他机器上；
    先解压hadoop-2.7.1.tar.gz到soft，查看hadoop目录文件如下：
    1. [root@hadoop01 hadoop-2.7.1]# ls
    2. bin etc include journal lib libexec LICENSE.txt logs NOTICE.txt README.txt sbin share
    所有的配置文件都存放在etc/hadoop/文件夹里面

    7.1、添加hadoop目录到环境变量

    在/etc/profile文件中增加HADOOP_HOME，如下所示
    1. export JAVA_HOME=/soft/jdk1.7.0_80/
    2. export HADOOP_HOME=/soft/hadoop-2.7.1
    3. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
    应用环境变量
    1. source /etc/profile
    可以用方法测试是否正确
    1. [root@hadoop01 hadoop-2.7.1]# which hadoop
    2. /soft/hadoop-2.7.1/bin/hadoop

    7.2、配置hadoop-env.sh

    1. vim hadoop-env.sh
    修改一个地方就可以，找到JAVA_HOME，改成第4章中jdk的路径就可以了
    1. export JAVA_HOME=/soft/jdk1.7.0_80/
    保存即可。
     

    7.3、配置core-site.xml

    这一步是配置nameservice，hadoop 文件存储位置和Zookeeper集群来确保多个namenode之间的切换，修改后内容如下：
    1. <configuration>
    2. <!-- 指定hdfs的nameservice为ns1 -->
    3. <property>
    4. <name>fs.defaultFS</name>
    5. <value>hdfs://ns1</value>
    6. </property>
    7. <!-- 指定hadoop临时目录 -->
    8. <property>
    9. <name>hadoop.tmp.dir</name>
    10. <value>/soft/hadoop-2.7.1/tmp</value>
    11. </property>
    12. <!-- 指定zookeeper地址 -->
    13. <property>
    14. <name>ha.zookeeper.quorum</name>
    15. <value>hadoop04:2181,hadoop05:2181,hadoop06:2181</value>
    16. </property>
    17. </configuration>
     

    7.4、配置hdfs-site.xml

    hdfs-site.xml主要配置namenode的高可用；
    内容如下：
    1. <configuration>
    2. <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
    3. <property>
    4. <name>dfs.nameservices</name>
    5. <value>ns1</value>
    6. </property>
    7. <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    8. <property>
    9. <name>dfs.ha.namenodes.ns1</name>
    10. <value>nn1,nn2</value>
    11. </property>
    12. <!-- nn1的RPC通信地址 -->
    13. <property>
    14. <name>dfs.namenode.rpc-address.ns1.nn1</name>
    15. <value>hadoop01:9000</value>
    16. </property>
    17. <!-- nn1的http通信地址 -->
    18. <property>
    19. <name>dfs.namenode.http-address.ns1.nn1</name>
    20. <value>hadoop01:50070</value>
    21. </property>
    22. <!-- nn2的RPC通信地址 -->
    23. <property>
    24. <name>dfs.namenode.rpc-address.ns1.nn2</name>
    25. <value>hadoop02:9000</value>
    26. </property>
    27. <!-- nn2的http通信地址 -->
    28. <property>
    29. <name>dfs.namenode.http-address.ns1.nn2</name>
    30. <value>hadoop02:50070</value>
    31. </property>
    32. <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    33. <property>
    34. <name>dfs.namenode.shared.edits.dir</name>
    35. <value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns1</value>
    36. </property>
    37. <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    38. <property>
    39. <name>dfs.journalnode.edits.dir</name>
    40. <value>/soft/hadoop-2.7.1/journal</value>
    41. </property>
    42. <!-- 开启NameNode失败自动切换 -->
    43. <property>
    44. <name>dfs.ha.automatic-failover.enabled</name>
    45. <value>true</value>
    46. </property>
    47. <!-- 配置失败自动切换实现方式 -->
    48. <property>
    49. <name>dfs.client.failover.proxy.provider.ns1</name>
    50. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    51. </property>
    52. <!-- 配置隔离机制 -->
    53. <property>
    54. <name>dfs.ha.fencing.methods</name>
    55. <value>sshfence</value>
    56. </property>
    57. <!-- 使用隔离机制时需要ssh免登陆 -->
    58. <property>
    59. <name>dfs.ha.fencing.ssh.private-key-files</name>
    60. <value>/root/.ssh/id_rsa</value>
    61. </property>
    62. </configuration>
    保存即可。
     

    7.4、配置datanode的配置文件slaves

    1. vi slaves
    修改datanode节点如下：
    1. hadoop04
    2. hadoop05
    3. hadoop06
    保存即可。
     

    7.5、配置mapreduce文件mapred-site.xml

    默认是没有mapred-site.xml文件的，里面有一个mapred-site.xml.example,重命名为mapred-site.xml
    1. mv mapred-site.xml.example mapred-site.xml
    配置内容如下，这里就是指明mapreduce是用在YARN之上来执行的。
    1. <configuration>
    2. <!-- 指定mr框架为yarn方式 -->
    3. <property>
    4. <name>mapreduce.framework.name</name>
    5. <value>yarn</value>
    6. </property>
    7. </configuration>

    7.6、配置yarn-site.xml

    做规划的时候就是配置hadoop03来运行yarn，配置如下：
    1. <configuration>
    2.         <!-- 指定resourcemanager地址 -->
    3. <property>
    4. <name>yarn.resourcemanager.hostname</name>
    5. <value>hadoop03</value>
    6. </property>
    7. <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
    8. <property>
    9. <name>yarn.nodemanager.aux-services</name>
    10. <value>mapreduce_shuffle</value>
    11. </property>
    12. </configuration>
     
    到目前为止就已经配置好hadoop01了，要将配置好的hadoop文件拷贝到hadoop02-hadoop06上，cd到soft目录
    1. scp -r hadoop2.7.1 hadoop02:/soft/
    2. scp -r hadoop2.7.1 hadoop03:/soft/
    3. scp -r hadoop2.7.1 hadoop04:/soft/
    4. scp -r hadoop2.7.1 hadoop05:/soft/
    5. scp -r hadoop2.7.1 hadoop06:/soft/
     

    7.7、启动Zookeeper服务

    在hadoop04、hadoop05、hadoop06上启动Zookeeper，下面以hadoop04为例
    1. [root@hadoop04 zookeeper-3.4.6]# bin/zkServer.sh start
    2. JMX enabled by default
    3. Using config: /soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
    4. Starting zookeeper ... STARTED
    确保这三台服务器上有一个leader，两个follower
     

    7.8、在hadoop01上启动journalnode

    1. [root@hadoop01 hadoop-2.7.1]# sbin/hadoop-daemons.sh start journalnode
    在7.4中配置了journalnode的节点是hadoop04、hadoop05、hadoop06，这三台机器上会出现JournalNode，以下是hadoop04上的进程
    1. [root@hadoop04 zookeeper-3.4.6]# jps
    2. 1532 JournalNode
    3. 1796 Jps
    4. 1470 QuorumPeerMain
     

    7.9、在hadoop01上格式化hadoop

    1. hadoop namenode -format
    格式化后会在根据7.3中core-site.xml中的hadoop.tmp.dir配置生成个文件，在hadoop01中会出现一个tmp文件夹，/soft/hadoop-2.7.1/tmp，现在规划的是hadoop01和hadoop02是NameNode，然后将/soft/hadoop-2.7.1/tmp拷贝到hadoop02:/soft/hadoop-2.7.1/下，这样hadoop02就不用格式化了。
    1. scp -r tmp/ hadoop02:/soft/hadoop-2.7.1/
     

    7.10、在hadoop01上格式化ZK

    1. hdfs zkfc -formatZK

    7.11、在hadoop01上 启动HDFS

    1. sbin/start-dfs.sh

    7.12   在hadoop01上启动YARN

    1. sbin/start-yarn.sh
    如果没有出错，hadoop的高可用就配置完成了；
     

    8、使用hadoop集群测试

    在本机中配置hosts文件（不是VMware虚拟机）
    文件路径：C:WindowsSystem32driversetchosts
    内容如下：
    1. 192.168.8.101 hadoop01
    2. 192.168.8.102 hadoop02
    3. 192.168.8.103 hadoop03
    4. 192.168.8.104 hadoop04
    5. 192.168.8.105 hadoop05
    6. 192.168.8.106 hadoop06
    在浏览器中输入：http://hadoop01:50070/，就可以看到如下界面
     
     
     
     
    查看hadoop02：http://hadoop02:50070/
     
    上面可以看到hadoop01是处于active状态，hadoop02是初一standby，接下来测试以下namenode的高可用，当hadoop01挂掉时hadoop02是否能够自动切换；
    在hadoop01中kill掉NameNode进程
    1. [root@hadoop01 hadoop-2.7.1]# jps
    2. 1614 NameNode
    3. 2500 Jps
    4. 1929 DFSZKFailoverController
    5. [root@hadoop01 hadoop-2.7.1]# kill -9 1614
    刷新http://hadoop01:50070/，无法访问，
    这是hadoop02已经处于active状态了，这说明我们的切换是没有问题的，现在已经完成了hadoop集群的高可用的搭建；
  • 相关阅读:
    js实现键盘操作对div的移动或改变-------Day43
    深入浅出谈开窗函数（一）
    Android入门第八篇之GridView(九宫图)
    ubuntu sublime安装及配置
    人脸识别算法初次了解
    POJ 1509 Glass Beads
    在Ubuntu上下载、编译和安装Android最新源码
    目标检測的图像特征提取之（一）HOG特征
    WTL介绍
    svn加入新的文件夹
  • 原文地址：https://www.cnblogs.com/guozhen/p/5714136.html
Copyright © 2011-2022 走看看