Hbase教程(三) 集群安装

1 Hbase集群安装

1.1 准备工作

Hbase的集群安装是建立在Hadoop集群环境之上的，因此需要先安装Hadoop集群环境。安装Hadoop集群环境安装，参见:http://blog.csdn.net/yuan_xw/article/details/51175171

 

1、启动Zookeeker服务：

分别在Hadoop4、Hadoop5、Hadoop6服务器上执行，如下命令：

执行命令：/usr/local/software/zookeeper_3.4.5/bin/zkServer.sh start

 

2、启动DFS服务：

由于Hbase不需要提交作业，因此只需要启动DFS服务即可，在Hadoop1服务器上启动DFS：

执行命令：/usr/local/software/hadoop_2.7.1/sbin/start-dfs.sh

 

3、验证启动：

   访问地址：http://192.168.1.121:50070/dfshealth.html#tab-overview

 

1.2 集群规划

HBASE集群规划，其中Hadoop1、Hadoop2服务器为Master，另外Hadoop3、Hadoop4、Hadoop5、Hadoop6服务器为slave。

集群规划如下表所示：

主机名	IP	安装软件	类型	运行进程
Hadoop1	192.168.197.121	Jdk、Hadoop、Hbase	Master	NameNode、DFSZKFailoverController、HMaster
Hadoop2	192.168.197.122	Jdk、Hadoop、Hbase	Master	NameNode、DFSZKFailoverController、HMaster
Hadoop3	192.168.197.123	Jdk、Hadoop、Hbase	slave	HRegionServer
Hadoop4	192.168.197.124	Jdk、Hadoop、Zookeep、Hbase	slave	DataNode、JournalNode、QuorumPeerMain、HRegionServer
Hadoop5	192.168.197.125	Jdk、Hadoop、Zookeep、Hbase	slave	DataNode、JournalNode、QuorumPeerMain、HRegionServer
Hadoop6	192.168.197.126	Jdk、Hadoop、Zookeep、Hbase	slave	DataNode、JournalNode、QuorumPeerMain、HRegionServer

 

1.3 Hbase下载安装

1、下载HBASE：

在Hadoop1服务器下载hbase-1.2.2-bin.tar到目录位置：/usr/local/software/
mkdir /usr/local/software

cd /usr/local/software

wget http://mirrors.hust.edu.cn/apache/hbase/1.2.2/hbase-1.2.2-bin.tar.gz

 

2、解压Hbase

执行命令：tar -zxvfhbase-1.2.2-bin.tar.gz

重命名：mvhbase-1.2.2  hbase_1.2.2

 

 

3、配置环境变量

修改profile文件：执行命令：vi /etc/profile

exportJAVA_HOME=/usr/local/software/jdk1.8.0_66

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportHADOOP_HOME=/usr/local/software/hadoop_2.7.1

export HBASE_HOME=/usr/local/software/hbase_1.2.2

exportPATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH

 

执行命令：source /etc/profile  刷新环境变量

 

4、修改hbase-env.sh配置文件：

执行命令：

vi/usr/local/software/hbase_1.2.1/conf/hbase-env.sh

      修改内容：

          exportJAVA_HOME=/usr/local/software/jdk1.8.0_66

          exportHBASE_MANAGES_ZK=false

 

5、修改hbase-site.xml配置文件

在配置文件hbase.rootdir属性，属性值填写Hadoop服务的nameservice地址：ns1，该file://ns1/hbase，用于保存Hbase运行时产生的文件。

执行命令：vi/usr/local/software/hbase_1.2.2/conf/hbase-site.xml

 

<configuration>
    <!-- 指定hbase在HDFS上存储的路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://ns1/hbase</value>
    </property>
    <!-- 指定hbase是分布式的 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定zk的地址，多个用“,”分割 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>Hadoop4:2181,Hadoop5:2181,Hadoop6:2181</value>
    </property>
</configuration>

6、拷贝Hadoop配置文件

需要Hadoop的配置文件支持，用于告知Hbase数据库HDFS的相关信息。拷贝把Hadoop的hdfs-site.xml和core-site.xml放到hbase/conf下。

执行命令：

cd/usr/local/software/hadoop_2.7.1/etc/hadoop

cp hdfs-site.xmlcore-site.xml /usr/local/software/hbase_1.2.2/conf/

 

7、修改regionservers配置文件

指定Hbase数据slave服务器

执行命令：vim/usr/local/software/hbase_1.2.2/conf/regionservers

输入下如文本：

Hadoop3

Hadoop4

Hadoop5

Hadoop6

 

1.4 分布式环境搭建

1、拷贝环境变量

将Hadoop1服务器的环境变量同步到Hadoop2、Hadoop3、Hadoop4、Hadoop5、Hadoop6：

执行命令：

scp /etc/profileHadoop2:/etc/

scp /etc/profile Hadoop3:/etc/

scp /etc/profile Hadoop4:/etc/

scp /etc/profile Hadoop5:/etc/

scp /etc/profile Hadoop6:/etc/

 

刷新环境变量，分别在Hadoop2、Hadoop3、Hadoop4、Hadoop5、Hadoop6服务器上刷新

执行命令：

    source /etc/profile

 

2、拷贝Hbase节点：

scp -r /usr/local/software/hbase_1.2.2/Hadoop2:/usr/local/software/

scp -r /usr/local/software/hbase_1.2.2/Hadoop3:/usr/local/software/

scp -r /usr/local/software/hbase_1.2.2/ Hadoop4:/usr/local/software/

scp -r /usr/local/software/hbase_1.2.2/Hadoop5:/usr/local/software/

scp -r /usr/local/software/hbase_1.2.2/Hadoop6:/usr/local/software/

 

3、同步服务器时间：

安装ntpdate命令，与ntpdate us.pool.ntp.org服务器时间进行同步，分别在Hadoop1、Hadoop2、Hadoop3、Hadoop4、Hadoop5、Hadoop6执行命令：

rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate -u us.pool.ntp.org

 

4、配置ssh免密码登录：

配置Hadoop1服务器生密钥，执行命令：ssh-keygen-t rsa,按4回车，密钥文件位于~/.ssh文件，

Hadoop1上生产一对钥匙，将公钥拷贝到其他节点，包括自己，在Hadoop1、Hadoop2、Hadoop3、Hadoop4、Hadoop5、Hadoop6服务上的免登录

执行命令：

ssh-copy-id Hadoop1

ssh-copy-id Hadoop2

ssh-copy-id Hadoop3

ssh-copy-id Hadoop4

ssh-copy-id Hadoop5

ssh-copy-id Hadoop6

 

 

1.5 启动Hbase：

1、启动Hadoop1服务器上Hbase:

执行命令：/usr/local/software/hbase_1.2.2/bin/start-hbase.sh

 

2、单独Hadoop2务器上启动Hbase，备份Master:

执行命令：/usr/local/software/hbase_1.2.2/bin/hbase-daemon.sh start master

     

3、访问Hbase页面

访问地址验证启动服务，访问地址：http://192.168.1.121:16010/master-status

查看服务器详细信息，访问地址：http://192.168.1.121:16010/zk.jsp

 

1.6 验证HMaster主备切换：

1、验证Hadoop1服务器与Hadoop2服务器Hbase HMaster进行主备切换，杀死Hbase上的HMaster的进程，验证Hadoop2服务器上的HbaseMaster启动情况：

切换目录：cd /usr/local/software/hadoop_2.7.1/sbin/

杀掉Hadoop1 HMaster进程，执行命令：kill-9 9356

验证成功

2、验证启动Hadoop1服务器Hbase:

单独重新启动Hadoop1服务器上的Hbase服务

执行命令：/usr/local/software/hbase_1.2.2/bin/hbase-daemon.shstart master

 

 

3、验证存储数据：

执行命行：/usr/local/software/hbase_1.2.2/bin/hbaseshell

 

创建mobile表，包含sysParam、extendParam两个列族

create 'mobile', 'sysParam', 'extendParam'

 

向user表中插入两条数据信息：rowkey0001、rowkey0002

 

 

通过web页面查看详细信息：