zoukankan      html  css  js  c++  java
  • 一、 Hbase特性 3v特性,Volume(量级) Varity(种类) Velocity(速度)

    HBase中表的特点
    大: 一个表可以由百亿行,上百万列(列多时,插入变慢)
    面向列:面向列(族)的存储和权限控制,列(族)独立检索
    稀疏:对于为空(null) 的列,并不占用存储空间,因此表可以设计的非常稀疏。
    多版本:每个Cell中的数据可以由多个版本,默认情况下版本号自动分配为时间戳。
    类型唯一:HBase中的数据都是字符串,没有类型
     
     
     
    所以。。。。   列限定符那么多,朋友么多。
     
     
     
    大数据强调 3V特性,Volume(量级)  Varity(种类)  Velocity(速度)

    大部分公司只是刚刚开始理解大数据。人们将大部分时间花在20%的结构化数据上,但事实是80%的数据是非结构化的。
    NoSQL的数据库优势
    1 扩展性强
    2 并发性能好
        NoSQL大数据量下性能好得益于它的弱关系性,数据库的结构简单。
      一般MySQL使用Query Cache,每当发生更新操作时,Cache就会实效,这是一种大粒度的Cache 在针对web2.0的交互中频繁应用,Cache性能并不高。而NoSQL的Cache是记录级的,是一种细粒度的Cache所以NoSQL在这个层面上来说性能要高很多。
    3数据模型灵活

    Hbase 特性
    Hbase作为一个典型的NoSQL数据库,仅支持单行事物。Hbase设计目标主要依靠横向扩展,通过不断增加廉价的商用服务器来增加计算能力。
    1 容量巨大
    HBase单表可以有百亿行、百万列,数据矩阵横向和纵向两个纬度所支持的数据量级都非常具有弹性。  千万列亿级可能会超时。 如果限定列则不会出现超时问题
    2 面向列
    HBase是面向列的存储和权限控制,并支持独立检索。
    列式存储 其数据在表中是按照某列存储的,这样在查询只需要少数几个字段的时候,能大大减少读取的数据量。 比如一个字段的数据聚集存储。就更容易为这种聚集存储设计更好的压缩算法。

    【】传统的行式数据库特性如下:【】
      数据是按行存储的
      没有索引的查询使用大量的I/O.
      建立索引和物化视图需要花费大量的时间和资源
      面对查询需求,数据库必须被大量膨胀才能满足需求

    【】列式数据库的特性【】
      数据按列存储,即每一列单独存放。
      数据即索引
      只访问查询涉及的列,可以大量降低系统I/O
      每一列由一个线索来处理,即查询的并发处理性能高。
      数据类型一致,数据特征相似,可以高效压缩。

    列式存储不但解决了数据稀疏性问题,最大程度节省存储开销,而且在查询发生时,仅检索查询涉及的列,能够大量降低磁盘I/O.  这些特性也支撑HBase 能够保证一定的读写性能。

    3 稀疏性
    大多数情况下,行式存储的数据往往是稀疏的,即存在大量为空(null)的列,而这些列都是占用存储空间的,这就造成存储空间的浪费。对HBase来讲,为空的列并不占用存储空间,因此,表可以设计的非常稀疏。

    4 扩展性
    底层依赖于HDFS. 同时,HBase的 Region 和 RegenServer 的概念对应的数据可以分区,分区后数据可以位于不同的机器上,所以在HBase 核心架构具备可扩展性。 Hbase的扩展性是热扩展,在不停止现有服务的情况下,可以随时添加或减少节点。

    5 高可靠性
    1 WAL机制保证了数据写入时不会因集群异常而导致写入数据丢失: Replication 机制保证了在集群出现严重的问题时,数据不会发生丢失或损坏。而且HBase底层使用HDFS HDFS本身也有备份。

    6 高性能
    底层的 LSM 数据结构和Rowkey有序排列等架构上的独特设计,使得Hbase具有非常高的写入性能。Region 切分、主键索引和缓存机制使得 HBase在海量数据下具备一定的随机读取性能,该性能针对 Rowkey 的查询能够到达毫秒级别。 同时HBase对于高并发的场景也具备很好的适应能力。该特性也是业界众多公司选取HBase作为存储数据库的非常重要的一点  
                                 rocky  





    God has given me a gift. Only one. I am the most complete fighter in the world. My whole life, I have trained. I must prove I am worthy of someting. rocky_24
  • 相关阅读:
    StringBuffer
    判断java标识符
    基本数据类型和String相互转换
    使用String
    Properties属性文件
    Map排序
    java集合之三映射:HashMap、Hashtable、LinkedHashMap、TreeMap
    列表、集合与数组之间相互转换
    自定义列表排序
    ML-支持向量:SVM、SVC、SVR、SMO原理推导及实现
  • 原文地址:https://www.cnblogs.com/rocky24/p/c7000a9810c60c14b59d3ea7a693829a.html
Copyright © 2011-2022 走看看