认识NoSQL
NoSQL：泛指非关系数据库（Not only SQL）
NoSQL两重要特征：使用硬盘和把随机存储器作为存储载体
NoSQL分类（按照存储格式）
1）键值（Key-Value）存储数据库
2）列存储数据库
3）文档型存储数据库
4）图形数据库
目前比较流行的NoSQL数据库有Casssandra，Lucene，Neo4J，MongoDB和HBase
HBase（Hadoop Database）概念
1）是一个高可靠，高性能，面向列，可伸缩的分布式数据库系统
2）它使用HDFS作为底层文件存储系统，在其上运行MapReduce批量处理数据，使用ZooKeeper作为协同服务组件
3）主要用于存储非结构化和半结构化的松散数据
HBase表的特点
1）大：一个表可以有十亿行，上百万列
2）无模式
3）面向列：面向列的存储和权限控制
4）稀疏：对于空（null）的列，不占用存储空间
5）数据多版本：每个单元中的数据可以有多个版本
6）数据类型单一：hbase中数据都是字符串，没有类型
HBase体系架构
1）Client
HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信
- 管理类操作：Client与HMaster进行RPC
- 数据读写类操作：Client与HRegionServer进行RPC
Client访问用户数据之前需要首先访问zookeeper，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问
- -ROOT-是系统内部表：ROOT里面存储了对应的.META地址和开始结束信息
- .META.是系统内部表:.META.里面同样存储了对应的HRegion地址和开始结束信息。
2）Zookeeper
1）保证任何时候，集群中只有一个maser
2）存储所有Region的寻址入口
3）实时监控Region server的上线和下线信息，并实时通知master
4）存储hbase的schema和table的元数据
5）存储了root表的地址（更快查询到那张表有数据）和Hmaster的地址（确定有哪些Hmaster）
3）HMaster
1）为Region server分配region，记录region在哪台Hregion server上
2）新机器加入时，管理HRegion Server的负载均衡，调整Region分布
3）发现失效HRegion Server 并将其上的Regions迁移
4）管理用户对Table的增、删、改、查操作
4）HRegionServer
1）HRegion server 维护 region ，处理对这些 region 的 IO 请求，，向HDFS文件系统中读写数据
2）HRegion server 负责切分在运行过程中变得过大的 region
- HRegionServer包含一个HLog部分和HRegion部分（多个HRegion）
- HLog部分保存着用户操作hbase的日志。用户的操作都会先记录到HLog中，然后再保存到HRegion中
- HRegion是存储的实际数据，它包含了多个HStore
- HStore：每一个列族都会形成一个HStore，它由MemStore和多个HFile组成
- MemStore驻留在内存中，当数据保存时，数据会先存储到MemStore中，然后根据用户设定的显式刷写或隐式刷写模式，将数据再保存到HFile中。默认的存储模式是隐式存储
- HLog的作用
- HFile负责的是实际数据的存储了，它是HBase中的最小单位
HBase数据模型（物理模型和逻辑模型）
HRegion
HRegionServer内部管理了一系列的HRegion对象
- Hbase自动把表水平划分成多个区域（region），每个region会保存一个表里面某段连续的数据
- Hregion由多个HStore组成
Hstore（包含Memstore和storefile两部分）
- 每个HStore对应了table中的一个column family（CF）的存储
- Hstore包括位于内存中的memstore和位于磁盘的storefile
- MemStore：用户写人的数据先回放入memstore，当memstore满了以后会flush成一个storefile
- StoreFiles：底层实现是Hfile，当storefile文件的数量增长到一定阀值后，系统会进行合并，在合并过程中会进行版本合并和删除工作，将多个storefile合并成更大的storefile
- 客户端检索数据，先在memstore找，找不到再找storefile
Hlog
在每次用户操作写入memstore的同时，也会写一份数据到HLog文件中，Hlog文件定期会滚动出新的，并删除旧的文件
Hfile
Hfile文件是不定长的，长度固定的只有两块
Row key（行键）
-
row key是用来检索记录的主键
-
访问HBASE table中的行，只有三种方式：
1）通过单个row key访问
2）通过row key的range（正则）
3）全表扫描 -
Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)
-
在HBASE内部，row key保存为字节数组
-
存储时，数据按照Row key的字典序(byte order)排序存储
Column Family（列族）
- HBASE表中的每个列，都归属于某个列族
- 列族是表的schema的一部分(而列不是)，必须在使用表之前定义
- 列名都以列族作为前缀。例如courses:history，courses:math都属于courses 这个列族。
TimeStamp（时间戳）
- HBASE 中通过rowkey和columns确定的为一个存贮单元称为cell。每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引
- 时间戳的类型是64位整型
- 时间戳可以由HBASE(在数据写入时自动 )赋值，也可以由客户显式赋值
- 每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面
- 为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBASE提供 了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段 时间内的版本