hbase是bigtable的开源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。
HBase中的表一般有这样的特点:
1、 大:一个表可以有上亿行,上百万列
2、 面向列:面向列(族)的存储和权限控制,列(族)独立检索。
3、 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。
1.1 参考资料
1.《hbase 介绍》。
2.《可视化Flushes与Compactions》
2 测试概要
根据官网hbase的配置调整测试,综合考虑是否满足需求。
2.1 测试环境与配置
集群搭建在一台高性能服务器中,采用VMware虚拟机建立Linux系统节点。
高性能服务器配置如下:
Hp Compaq Pro 6300 双核 i3处理器,12G内存,2.5T硬盘,千兆网卡
HDFS虚拟服务器硬件配置:
Hp Compaq Pro 6300
CPU:单核 i3处理器
内存:2G
硬盘:255G
HDFS虚拟服务器硬件配置:
操作系统:redhat6.2
应用软件:hadoop4.2
JDK:1.6
hadoop集群由三台虚拟机构成,具体如下:
服务器数量 |
4 |
|
服务器1 |
操作系统 |
Red Hat Enterprise Linux 6.2 |
机器名 |
Cdh-master |
|
IP |
172.168.10.251 |
|
担当角色 |
Zookeeper、HMaster、HRegionServer |
|
服务器2 |
操作系统 |
Red Hat Enterprise Linux 6.2 |
机器名 |
Cdh-datanode1 |
|
IP |
172.168.10.252 |
|
担当角色 |
Zookeeper、HRegionServer |
|
服务器3 |
操作系统 |
Red Hat Enterprise Linux 6.2 |
机器名 |
Cdh-datanode2 |
|
IP |
172.168.10.253 |
|
担当角色 |
Zookeeper、HRegionServer |
|
服务器4 |
操作系统 |
Red Hat Enterprise Linux 6.2 |
机器名 |
Cdh-Client |
|
IP |
172.168.10.250 |
|
担当角色 |
HDFS客户端服务器 |