zoukankan      html  css  js  c++  java
  • 配置HDFS的HA

    配置前准备: -- 配置hadoop -- 配置ZooKeeper,传送门:https://www.cnblogs.com/zhqin/p/11906106.html

    安装配置好hadoop和ZooKeeper之后,接下来开始正式配置HA:

    1、在/opt下创建ha文件夹
    sudo mkdir ha
    

    2、更改ha文件夹所有者

    sudo chown admin:admin ha
    

    3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下

    cp -r module/hadoop-2.7.2/ ha/
    

    4、然后进入到刚拷贝过去的ha文件夹下的hadoop文件夹,将之前集群运行产生的data和logs文件夹删除

    rm -rf data/ logs/
    

    5、进入etc/haoop/ 文件夹下

    /opt/ha/hadoop-2.7.2/etc/hadoop
    

    6、修改core-site.xml

    <configuration>
    <!-- 把两个NameNode)的地址组装成一个集群mycluster -->
    		<property>
    			<name>fs.defaultFS</name>
            	<value>hdfs://mycluster</value>
    		</property>
    
    		<!-- 指定hadoop运行时产生文件的存储目录 -->
    		<property>
    			<name>hadoop.tmp.dir</name>
    			<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
    		</property>
    </configuration>
    
    

    7、配置hdfs-site.xml

    
    <configuration>
    	<!-- 完全分布式集群名称 -->
    	<property>
    		<name>dfs.nameservices</name>
    		<value>mycluster</value>
    	</property>
    
    	<!-- 集群中NameNode节点都有哪些 -->
    	<property>
    		<name>dfs.ha.namenodes.mycluster</name>
    		<value>nn1,nn2</value>
    	</property>
    
    	<!-- nn1的RPC通信地址 -->
    	<property>
    		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
    		<value>hadoop102:9000</value>
    	</property>
    
    	<!-- nn2的RPC通信地址 -->
    	<property>
    		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
    		<value>hadoop103:9000</value>
    	</property>
    
    	<!-- nn1的http通信地址 -->
    	<property>
    		<name>dfs.namenode.http-address.mycluster.nn1</name>
    		<value>hadoop102:50070</value>
    	</property>
    
    	<!-- nn2的http通信地址 -->
    	<property>
    		<name>dfs.namenode.http-address.mycluster.nn2</name>
    		<value>hadoop103:50070</value>
    	</property>
    
    	<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
    	<property>
    		<name>dfs.namenode.shared.edits.dir</name>
    	<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
    	</property>
    
    	<!-- 配置隔离机制,即同一时刻只能有一台服务器对外响应 -->
    	<property>
    		<name>dfs.ha.fencing.methods</name>
    		<value>sshfence</value>
    	</property>
    
    	<!-- 使用隔离机制时需要ssh无秘钥登录-->
    	<property>
    		<name>dfs.ha.fencing.ssh.private-key-files</name>
    		<value>/home/atguigu/.ssh/id_rsa</value>
    	</property>
    
    	<!-- 声明journalnode服务器存储目录-->
    	<property>
    		<name>dfs.journalnode.edits.dir</name>
    		<value>/opt/ha/hadoop-2.7.2/data/jn</value>
    	</property>
    
    	<!-- 关闭权限检查-->
    	<property>
    		<name>dfs.permissions.enable</name>
    		<value>false</value>
    	</property>
    
    	<!-- 访问代理类:client,mycluster,active配置失败自动切换实现方式-->
    	<property>
      		<name>dfs.client.failover.proxy.provider.mycluster</name>
    	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    	</property>
    </configuration>
    
    

    8、分发ha文件夹

    sudo xsync /opt/ha/
    

    其实到目前为止,手动切换的HA已经配置完成。

    接下来继续配置自动切换(自动故障转移)的HA,也就是ZooKeeper。

    9、进入配置文件的文件夹下,修改hdfs-site.xml,vim /opt/ha/hadoop-2.7.2/etc/hadoop/hdfs-site.xml在原有的配置基础上追加如下内容:

    <property>
    	<name>dfs.ha.automatic-failover.enabled</name>
    	<value>true</value>
    </property>
    

    10、修改core-site.xml,在core-site.xml最后追加如下内容:

    <property>
    	<name>ha.zookeeper.quorum</name>
    	<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    

    11、同步三台机器的配置文件

    xsync /opt/ha/hadoop-2.7.2/etc/hadoop/
    

    到此配置完成,接下来开始第一次启动前的各种准备工作。

    12、启动JournalNode

    /opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start journalnode
    

    13、格式化namenode(注意,执行该命令需等待上条命令执行之后稍等片刻,因为JournalNode节点启动稍微需要些时间,而HDFS是建立在这个节点之上的)

    /opt/ha/hadoop-2.7.2/bin/hdfs namenode -format
    

    14、启动namenode

    /opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode
    

    此时执行jpsall应该有的进程是:

    -----------  hadoop102  -----------
    10178 NameNode
    10014 JournalNode
    -----------  hadoop103  -----------
    12740 JournalNode
    -----------  hadoop104  -----------
    12521 JournalNode
    

    这样的结果的话代表目前执行正确

    15、在hadoop103机器上执行:

    /opt/ha/hadoop-2.7.2/bin/hdfs namenode -bootstrapStandby
    

    16、然后在hadoop103上启动namenode

    /opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode
    

    这个时候执行jpsall应该是三个jn两个nn,如下所示:

    -----------  hadoop102  -----------
    10178 NameNode
    10014 JournalNode
    -----------  hadoop103  -----------
    12740 JournalNode
    12981 NameNode
    -----------  hadoop104  -----------
    12521 JournalNode
    

    17、启动ZooKeeper集群
    在所有机器同时发送命令:

    $ZOOKEEPER_HOME/bin/zkServer.sh start
    

    可以通过命令:$ZOOKEEPER_HOME/bin/zkServer.sh start查看ZooKeeper各个节点的状态。

    18、需要格式化一下Zkfc需要在ZooKeeper中用到的数据信息。

    /opt/ha/hadoop-2.7.2/bin/hdfs zkfc -formatZK
    

    19、在配置了namenode节点的机器上启动zkfc
    在hadoop102和hadoop103分别执行:

    /opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start zkfc

    此时执行jpsall,显示结果应该为:

    -----------  hadoop102  -----------
    10432 QuorumPeerMain
    10178 NameNode
    10650 DFSZKFailoverController
    10014 JournalNode
    -----------  hadoop103  -----------
    13363 DFSZKFailoverController
    12740 JournalNode
    12981 NameNode
    13151 QuorumPeerMain
    -----------  hadoop104  -----------
    12772 QuorumPeerMain
    12521 JournalNode
    

    20、然后启动数据节点datanode,切换到hadoop102

    /opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start datanode
    

    这个时候执行jpsall

    -----------  hadoop102  -----------
    10432 QuorumPeerMain
    10817 DataNode
    10178 NameNode
    10650 DFSZKFailoverController
    10014 JournalNode
    -----------  hadoop103  -----------
    13665 DataNode
    13363 DFSZKFailoverController
    12740 JournalNode
    12981 NameNode
    13151 QuorumPeerMain
    -----------  hadoop104  -----------
    12772 QuorumPeerMain
    13092 DataNode
    12521 JournalNode
    

    21、至此,已经配置完成。

    以后启动的话就一条启动命令即可:

    /opt/ha/hadoop-2.7.2/sbin/start-dfs.sh
    

    关闭同理:

    /opt/ha/hadoop-2.7.2/sbin/stop-dfs.sh
    
  • 相关阅读:
    利用freopen()函数和fc命令简化程序调试
    A Guide to the Multiboot Process
    略谈cpu架构种类
    RHEL与Centos
    九度 1470 调整方阵
    九度 1481 Is It A Tree?
    九度 1548 平面上的点(技巧题)
    九度 1547 出入栈(递推DP)
    2014年王道论坛研究生机试练习赛(一) set 1 GrassLand密码
    13年10月 月赛第一场 set 4 迷宫问题
  • 原文地址:https://www.cnblogs.com/zhqin/p/11904317.html
Copyright © 2011-2022 走看看