HBase基础

1、hbase

google:
gfs –> hdfs
mapreduce –> mapreduce
bigtable –> hbase

Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储

当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。Apache HBase是一个开源的，分布式的，版本化的非关系数据库nosql，模仿Google的Bigtable： Chang等人的结构化数据分布式存储系统。正如Bigtable利用Google文件系统提供的分布式数据存储一样，Apache HBase在Hadoop和HDFS之上提供类似Bigtable的功能

2、hbase集群角色

hdfs: NameNode DataNode
yarn: ResourceManager NodeManager
zookeeper: QuorumPeerMain
hbase: HMaster RegionServer

主从结构
HMaster:
1）对RegionServer监控
2）处理一些元数据的变更
3）对RegionServer进行故障转移
4）空闲时对数据进行负载均衡
5）对region进行管理
6）发布位置到客户端借助于zookeeper

RegionServer:
1）存储hbase实际的数据
2）刷新缓存数据到hdfs
3）处理Region
4）可以进行压缩
5）对Hlog进行维护
6）对region分片

3、hbase集群安装部署

1）需要安装好zookeeper集群

2）需要安装好hadoop集群
hdfs
yarn

3）解压hbase压缩包
tar -zxvf hbase-1.3.0-bin.tar.gz

4）修改配置hbase-env.sh
export JAVA_HOME=/root/hd/jdk1.8.0_192
export HBASE_MANAGES_ZK=false

5）配置hbase-site.xml
cd /root/hd/hbase-1.3.0
vi hbase-site.xml

<configuration>
    <!-- 设置namenode所在位置 通过rootdir设置 也就是设置hdfs中存放的路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hsiehchou121:9000/hbase</value>
    </property>

    <!-- 是否开启集群 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000 -->
    <property>
        <name>hbase.master.port</name>
        <value>16000</value>
    </property>

    <!-- zookeeper集群的位置 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hsiehchou121:2181,hsiehchou122:2181,hsiehchou123:2181,hsiehchou124:2181</value>
    </property>

    <!-- hbase的元数据信息存储在zookeeper的位置 -->
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/root/hd/zookeeper-3.4.10/zkData</value>
    </property>
</configuration>

指定从节点regionservers
vi regionservers

hsiehchou122
hsiehchou123
hsiehchou124

6）解决依赖问题
HBase依赖于Hadoop，换成2.8.4的hadoop依赖包
hadoop-annotations-2.8.4.jar
hadoop-auth-2.8.4.jar
hadoop-common-2.8.4.jar
hadoop-hdfs-2.8.4.jar
hadoop-hdfs-client-2.8.4.jar
hadoop-mapreduce-client-app-2.8.4.jar
hadoop-mapreduce-client-common-2.8.4.jar
hadoop-mapreduce-client-core-2.8.4.jar
hadoop-mapreduce-client-hs-2.8.4.jar
hadoop-mapreduce-client-hs-plugins-2.8.4.jar
hadoop-mapreduce-client-jobclient-2.8.4.jar
hadoop-mapreduce-client-jobclient-2.8.4-tests.jar
hadoop-mapreduce-client-shuffle-2.8.4.jar
hadoop-yarn-api-2.8.4.jar
hadoop-yarn-applications-distributedshell-2.8.4.jar
hadoop-yarn-applications-unmanaged-am-launcher-2.8.4.jar
hadoop-yarn-client-2.8.4.jar
hadoop-yarn-common-2.8.4.jar
hadoop-yarn-server-applicationhistoryservice-2.8.4.jar
hadoop-yarn-server-common-2.8.4.jar
hadoop-yarn-server-nodemanager-2.8.4.jar
hadoop-yarn-server-resourcemanager-2.8.4.jar
hadoop-yarn-server-web-proxy-2.8.4.jar

zookeeper-3.4.10.jar

7）软连接core-site.xml hdfs-site.xml
ln -s /root/hd/hadoop-2.8.4/etc/hadoop/hdfs-site.xml
ln -s /root/hd/hadoop-2.8.4/etc/hadoop/core-site.xml

8）发送到其他机器
scp -r hbase-1.3.0 hsiehchou122:/root/hd
scp -r hbase-1.3.0 hsiehchou123:/root/hd
scp -r hbase-1.3.0 hsiehchou124:/root/hd

fiind /root/hd/hadoop-2.8.4/ -name hadoop-a*

9）访问ui界面
http://192.168.116.121:16010/master-status

启动hbase
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver

关闭hbase
bin/hbase-daemon.sh stop master
bin/hbase-daemon.sh stop regionserver

4、hbase设计架构

Rowkey行键 类似 id
列式存储
hbase操作

1）查看表操作
list

2）显示当前服务器状态
status ‘hsiehchou121’
1 active master, 0 backup masters, 3 servers, 0 dead, 0.5000 ave
rage load
1 active master: 1个存活的master
0 backup masters: 0个备份master
3 servers: 3个regionserver
0 dead: 没有挂掉的
0.5000 average load：平均加载

3）显示当前用户
whoami

4）创建表
create ‘表名’,’列族’
create ‘user’,’info1’

5）添加数据
put ‘表名’,’rowkey’,’列族:列’,’值’
put ‘user’,’1001’,’info1:name’,’xie’
put ‘user’,’1001’,’info1:age’,’19’

删除需要ctrl+<-

6）全表扫描
scan ‘表名’
scan ‘user’

ROW COLUMN+CELL
1001 column=info1:age, timestamp=1552579563486, value=19
1001 column=info1:name, timestamp=1552579531260, value=xie

7）hbase没有修改，只有覆盖
put ‘user’,’1001’,’info1:name’,’mi’
只要对应上表名、rowkey、列族、列即可

8）查看表结构
describe ‘user’

9）变更表结构信息
alter ‘user’,{NAME => ‘info1’,VERSIONS=>’8’}

10）查看指定的数据信息
指定具体的rowkey
get ‘user’,’1001’
指定具体的列
get ‘user’,’1001’,’info1:name’

11）清空表
truncate ‘user1’

12）删除表
需要先指定不可用
disable ‘表名’
drop ‘表名’
disable ‘user1’
drop ‘user1’

13）扫描指定范围
指定从某一rowkey扫描
scan ‘user’,{STARTROW => ‘1002’}

包含头不包含尾（1001保留，1002不扫描）
scan ‘user’,{STARTROW => ‘1001’, STOPROW => ‘1002’}

14）统计rowkey的个数
count ‘user’

15）退出hbase shell
quit