zoukankan      html  css  js  c++  java
  • 1.Hbase集群安装配置(一主三从)

     1.HBase安装配置,使用独立zookeeper,shell测试

      安装步骤:首先在Master(shizhan2)上安装:前提必须保证hadoop集群和zookeeper集群是可用的

      1.上传:用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到:/data/software/目录下

      2.解压:tar -xzvf hbase-0.99.2-bin.tar.gz -C /usr/local/src/

      3.重命名:mv hbase-0.99.2 hbase

      4.修改环境变量:在master机器上执行:vi /etc/profile,添加如下内容:

        export HBASE_HOME=/usr/local/src/hbase

        export PATH=$PATH:$HBASE_HOME/bin

      5.修改配置文件:

        vi  /hbase/conf/hbase-site.xml  

    <configuration>
    <property>
    #hbasemaster的主机和端口
    <name>hbase.master</name>
    <value>shizhan2:60000</value>
    </property>
    <property>
    #时间同步允许的时间差
    <name>hbase.master.maxclockskew</name> 
    <value>180000</value>
    </property>
    <property>
    #共享目录,持久化hbase数据
    <name>hbase.rootdir</name>
    <value>hdfs://shizhan2:9000/hbase</value>
    </property>
    <property>
     #是否分布式运行,false即为单机
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    </property>
    <property>
    #zookeeper地址
    <name>hbase.zookeeper.quorum</name>
    <value>shizhan3,shizhan5,shizhan6</value>
    </property>
    <property>
    #zookeeper配置信息快照的位置,zookeeper 保持信息的文件,默认为/tmp 重启会丢失
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hadoop/hbase/tmp/zookeeper</value>
    </property>
    <property>  
    <name>hbase.zookeeper.property.clientPort</name>  
    <value>2183</value>  
    </property>  
    </configuration>

       vi /hbase/conf/hbase-env.sh

    export JAVA_HOME=/usr/java/jdk1.7.0_45   //jdk安装目录
    export HBASE_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  //hadoop配置文件的位置
    export HBASE_MANAGES_ZK=false   #如果使用独立安装的zookeeper这个地方就是false,自带的设置为true

       vi /conf/regionservers

    shizhan3
    shizhan5
    shizhan6

       6.将Hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

      hdfs-site.xml

    <configuration>
        <!-- 指定HDFS副本的数量 -->
            <property>
                <name>dfs.replication</name>
                <value>2</value>
            </property>
    </configuration>

       core-site.xml

    <configuration>
         <property>
                <name>fs.defaultFS</name>
                <value>hdfs://shizhan2:9000</value>
            </property>
            <!-- 指定hadoop运行时产生文件的存储目录 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop-2.6.4/hdpdata</value>
            </property>
    </configuration>

       7.修Hanase安装包发送到其他机器:

        scp –r /usr/local/src/hbase shizhan3:/usr/local/src/

        scp –r /usr/local/src/hbase shizhan5:/usr/local/src/

        scp –r /usr/local/src/hbase shizhan6:/usr/local/src/

      8.启动:cd /usr/local/src/hbase/bin/    ./start-hbase.sh

      9.查看:http://shizhan2:16010/,使用jps查看:

        

      

    Hbase动态增删主备节点:

     注意:以上安装是shizhan2作为主节点,shizhan3、shizhan5、shizhan6作为从节点(一主三从)

         1.如下为Habase的多Master配置方案(添加双主Master):在任意安装了Hbase的机器上启动Master:

          local-master-backup.sh start 2

         2.添加Hbase节点:先拷贝一个从节点到其他机器上,然后启动

          hbase-daemon.sh start regionserver

        注意:动态添加、删除Hbase节点(HMaster、HRegionServer)是由Zookeeper控制的,例如:

        :启动双主HMaster节点:在shizhan3上通过命令启动:

        

        通过连接Zookeeper客户端连接Zookeeper服务查看节点:zkCli.sh -server shizhan2:2183

        查看在shihan3上启动的双主节点HMaster备用节点信息:

        

        

        此时如若将杀掉的从节点shizhan6重新启动:bin/hbase-daemon.sh start regionserver(动态增加节点)

        

        可以看出节点被重新添加 


    在Hadoop+Zookeeper+Hbase集群中:

      1.首先启动hadoop集群;  

      2.启动zookeeper集群服务:因为在Hbase中提供了HBASE_MANAGES_ZK变量来设置是否管理zookeeper集群,默认情况,

    HBASE_MANAGES_ZK设置为true(Hbase自带),即告诉Hbase把zookeeper启动、停止作为Hbase启动、停止的一部分,如果要

    设置为独立的Zookeeper集群管理(不是由HBase管理的集群),则将hbase-env.sh中的HBASE_MANAGES_ZK设置为false

    果是独立启动zookeeper集群,那么这里的clientPort必须与zookeeper配置的一致,否则客户端连接的时候会报错(所以先

    启动zookeeper集群,服务端口号设置的为2183,即可通过shizhan5/192.168.232.207:2183去连接)

      3.启动Hbase集群;

        

        

        

      

     

      

        

      

  • 相关阅读:
    Android 6.0以上动态获取权限
    大学实验3指导:利用单链表实现A-B
    大学课程实验2指导-二叉树的建立与遍历
    大学实验1 哈夫曼编码
    大学java教案之MySQL安装图解
    DrawableAnimation小练习
    Android学习第7天
    Android学习第6天
    There's no Qt version assigned to this project for platform Win32
    OpenBCI 开发环境配置
  • 原文地址:https://www.cnblogs.com/yaboya/p/9339813.html
Copyright © 2011-2022 走看看