zoukankan      html  css  js  c++  java

  • Hadoop federation配置

    Hadoop federation配置

    1、介绍

    hadoop federation也称为联邦，主要是对namenode进行扩容。HA模式下只是实现了hadoop namenode的高可用，但是随着文件数据的不断增家，导致对namenode的压力越来越大，因此就需要对namenode的负载进行均衡处理。联邦的本质是配置多个namenode集群，将不同的路径映射到不同的集群上即可。但是需要注意所有namenode的集群有着一致的clusterid。结构图如下：

    xpc_hadoop_001

    2、集群规划

    本例中引入四台namenode，分别是s101、s102、s103和s104。其中s101和s102组成集群ns1，s103和s104组成集群ns2。

    3、集群准备

    以上四台节点都需要配置ssh，能够登录到所有的集群节点。

    4、停止原来的集群

    $>stop-dfs.sh

    5、配置文件

    5.1hdfs-site.xml

    • s101和s102配置相同

      <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1,ns2</value>
  </property>
  <!-- **************ns1********************* -->
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>s101:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>s102:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>s101:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>s102:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode
      .ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- **************ns2********************* -->
  <property>
    <name>dfs.ha.namenodes.ns2</name>
    <value>nn3,nn4</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    <value>s103:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    <value>s104:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn3</name>
    <value>s103:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn4</name>
    <value>s104:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns2</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!--***********************************************-->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns1</value>
  </property>

  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/centos/.ssh/id_rsa</value>
  </property>

  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

      ​

    • s103和s104配置相同

      <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1,ns2</value>
  </property>
  <!-- **************ns1********************* -->
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>s101:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>s102:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>s101:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>s102:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode
      .ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- **************ns2********************* -->
  <property>
    <name>dfs.ha.namenodes.ns2</name>
    <value>nn3,nn4</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    <value>s103:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    <value>s104:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn3</name>
    <value>s103:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn4</name>
    <value>s104:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns2</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!--***********************************************-->

  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns2</value>
  </property>

  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/centos/.ssh/id_rsa</value>
  </property>

  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

    5.2 core-site.xml

    <?xml version="1.0"?>
<configuration xmlns:xi="http://www.w3.org/2001/XInclude">
  <xi:include href="mountTable.xml" />
  <property>
    <name>fs.defaultFS</name>
    <value>viewfs://ClusterX</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/centos/hadoop/federation/journalnode</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/centos/hadoop/federation</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>s102:2181,s103:2181,s104:2181</value>
  </property>
</configuration>

    5.3 mountTable.xml

    <configuration>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.homedir</name>
    <value>/home</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./home</name>
    <value>hdfs://ns1/home</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./tmp</name>
    <value>hdfs://ns2/tmp</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./projects/foo</name>
    <value>hdfs://ns1/projects/foo</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./projects/bar</name>
    <value>hdfs://ns2/projects/bar</value>
  </property>
</configuration>

    6、实操

    6.1 删除日志和临时目录

    $>xcall.sh rm -rf /soft/hadoop/logs/*
$>xcall.sh rm -rf /home/centos/hadoop/federation/*

    6.2 修改软连接

    $>xcall.sh ln -sfT /soft/hadoop/etc/federation /soft/hadoop/etc/hadoop

    6.3 格式化ns1集群

    1. 启动journalnode节点

      登录s102、s103和s104，分别执行以下命令：

      $>hadoop-daemon.sh start journalnode

    2. 格式化nn1节点

      $>hdfs namenode -format

    3. 复制nn1元数据到nn2

      $>scp -r /home/centos/hadoop/federation centos@s102:/home/centos/hadoop

    4. nn2上执行引导

      # s101启动名称节点
$>hadoop-daemon.sh start namenode
# s102执行引导,不要重格(N)
$>hdfs namenode -bootstrapStandby

    5. nn2初始化编辑共享日志

      # 初始化共享编辑日志
$>hdfs namenode -initializeSharedEdits

    6. 格式化zk节点

      $>hdfs zkfc -formatZK

    7. 启动nn1和nn2的namenode以及容灾控制器

      # s101
$>hadoop-daemon.sh start zkfc

# s102
$>hadoop-daemon.sh start namenode
$>hadoop-daemon.sh start zkfc

    8. webui测试

      http://s101:50070

    6.4 格式化ns2集群

    格式化ns2集群时，务必需要使用ns1的集群id，以保证他们是一个完成的集群。

    1. 格式化nn3，使用nn1的集群id

      $>hdfs namenode -format -clusterId CID-e16c5e2f-c0a5-4e51-b789-008e36b7289a

    2. 复制s103的元数据到s104上

      $>scp -r /home/centos/hadoop/federation centos@s104:/home/centos/hadoop/

    3. 在s104引导

      # 在s103启动namenode
$>hadoop-daemon.sh start namenode
# 在s104执行引导
$>hdfs namenode -bootstrapStandby

    4. 在s104上初始化编辑日志

      $>hdfs namenode -initializeSharedEdits

    5. 在s104对zookeeper格式化zkfc(选择Y)

      $>hdfs zkfc -formatZK

    6. 启动s103和s104的namenode和zkfc进程

      # s103
$>hadoop-daemon.sh start zkfc
# s104
$>hadoop-daemon.sh start namenode
$>hadoop-daemon.sh start zkfc

    6.5 重启集群

    $>stop-dfs.sh
$>start-dfs.sh

    6.6 创建目录

    # 切记，使用-p参数创建上级目录
$>hdfs dfs -mkdir -p /home/data

    6.7 上传文件

    $>hdfs dfs -put 1.txt /home/data

    6.8 webui考察

    http://s101:50070/

    7、小结

    配置联邦模式时，第二个namenode的格式化需要指定clusterid，以保证和之前的集群id相同，同时引入挂载表指定不同目录映射到的namenode集群路径。最后，在指定编辑日志存放地址时，最好不同的namenode集群在各自不同的目录下。联邦模式的引进，有效缓解了namenode节点压力的问题，对namenode实现了扩容和负载平衡。
  • 相关阅读:
    Pwn-level3
    【mysql】 mysql忘记密码
    【Linux】linux磁盘管理
    【Linux】Linux系统LVM管理及Raid
    【Git】git撤销与回滚
    【linux】Linux系统SELinux简介
    【Linux】Linux中的网络命令
    【Linux】linux中文本操作利器grep,awk,sed
    【Linux】linux正则表达式及通配符
    【Mysql】mysql数据备份
  • 原文地址：https://www.cnblogs.com/xupccc/p/9691147.html
Copyright © 2011-2022 走看看