大数据平台搭建-hbase集群的搭建

本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：

• 虚拟服务器安装
• 基础环境安装
• zookeeper集群的搭建
• kafka集群的搭建
• hadoop/hbase集群的搭建
• spark集群的搭建
• flink集群的搭建
• elasticsearch集群的搭建
• alluxio集群的搭建

本文主要讲解hbase的分布式搭建过程。

版本要求

• java版本：1.8.0_181
• zookeeper版本:zookeeper-3.4.10
• hadoop版本:hadoop-2.7.6
• hbase版本：hbase-1.2.6.1

前置条件

免密登录

见链接免密登录

java安装

见链接java安装

zookeeper安装

见链接zookeeper安装

hadoop安装

见链接hadoop安装

服务器资源和分配

本文服务器列表如下：

192.168.220.200  bigdata1
192.168.220.201  bigdata2
192.168.220.202  bigdata3
192.168.220.203  bigdata4
192.168.220.204  bigdata5

其中选用bigdata1和bigdata2作为namenode,bigdata3、bigdat4、bigdata5作为dataNode，安装完成后各节点进程名如下：

主机名	ip地址	HMaster	HRegionServer
bigdata1	192.168.220.200	Y	N
bigdata2	192.168.220.201	N	Y
bigdata3	192.168.220.202	N	Y
bigdata4	192.168.220.203	N	Y
bigdata5	192.168.220.204	N	Y

解压安装

tar -zxvf hbase-1.2.6.1-bin.tar.gz
mv hbase-1.2.6.1-bin hbase

环境变量

vi ~/.bash_profile   
export JAVA_HOME=/wls/oracle/jdk      
export SCALA_HOME=/wls/oracle/scala   
export ZOOKEEPER_HOME=/wls/oracle/zookeeper   
export HADOOP_HOME=/wls/oracle/hadoop   
export HBASE_HOME=/wls/oracle/hbase   
export SPARK_HOME=/wls/oracle/spark   

export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin   
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar   

export PATH　CLASSPATH JAVA_HOME  SCALA_HOME  ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME 

配置

hbase需要修改的配置主要包含如下文件

hbase-env.sh
hbase-site.xml
regionservers

hbase-env.sh

hbase-env.sh文件增加JAVA_HOME的配置即可

export JAVA_HOME=/home/oracle/jdk

hbase-site.xml

hbase.master:指定master节点
hbase.rootdir:指定hbase文件存储路径
hbase.zookeeper.quorum:指定zookeeper地址
hbase.zookeeper.property.dataDir:指定在zookeeper存储的目录
完整配置如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hbase.master</name>
        <value>192.168.220.200:60000</value>
    </property>
    <property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
    </property> 
    <property>  
        <name>hbase.cluster.distributed</name>  
        <value>true</value>      
    </property>

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://cluster/hbase</value>
    </property>     
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property> 
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>192.168.220.200,192.168.220.201,192.168.220.202</value>
    </property>     
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/hbase</value>
    </property> 
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>zookeeper.session.timeout</name>
        <value>60000</value>
    </property>
    <property>
      <name>hbase.regionserver.lease.period</name>
      <value>900000</value>
    </property>
    <property>
      <name>hbase.rpc.timeout</name>
      <value>900000</value> 
    </property> 
</configuration>

regionservers

bigdata2
bigdata3
bigdata4
bigdata5

启动

配置完成后,启动hbase

/home/oracle/hbase/bin/start-hbase.sh

停止hbase脚本如下

/home/oracle/hbase/bin/stop-hbase.sh

本文主要讲解分布hbase搭建的过程，后续将会说明hbase使用相关的问题。

---

关于作者
爱编程、爱钻研、爱分享、爱生活
关注分布式、高并发、数据挖掘
如需捐赠，请扫码