zoukankan      html  css  js  c++  java
  • HBase简介及原理

    HBase简介

    1、HBase是一个万亿行,百万列大表(Big Table),数据存放在hdfs集群中;

    写操作使用MapReduce处理,将(增删改)处理结果放入HBase中,读就直接读HBase;

    HBase的并发量在1000左右,常用的关系型数据库MySql的并发量在300~500之间,之所以HBase的并发量比较大,原因在于HBase启用了缓存技术;

    HBase中的块的单位是64k,每次读取数据,以块为单位将hdfs集群中的数据加载到内存中,加载到内存中的数据形同一个散列表,散列表以Key-Value的键值对方式存储;

    HDFS中存储的数据受到HBase的元数据管理,这种管理方式与Hive雷同,即HBase通过Zookeeper集群管理元数据,通过HDFS集群管理业务数据。

    2、数据存储以Region作为单位(行的集合),一个Region的默认大小为128M;

    3、因为HBase是基于键值对(读时以块为单位读)的一个NOSQL数据库,Redis的读写纯粹是基于键值对,Redis的并发量在十万左右,并发能力高,
    但没有副本机制,数据容易丢失;而HBase基于HDFS集群,具有副本机制,数据安全度高;

    4、使用关联评估算法(属于机器学习)

    5、HBase是一个构建在HDFS上的分布式列存储系统;
    HBase是基于Google BigTable模型开发的;
    HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;
    从逻辑上讲,HBase将数据按照表、行和列进行存储。
    与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。


    Hbase表的特点
    大:一个表可以有数十亿行,上百万列;
    无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列;
    面向列:面向列(族)的存储和权限控制,列(族)独立检索;
    稀疏:空(null)列并不占用存储空间,表可以设计的非常稀疏;
    数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号自动分配,是单元格插入时的时间戳;
    数据类型单一:Hbase中的数据都是字符串,没有类型。

    HBase架构原理

    大数据学习交流QQ群:217770236 让我们一起学习大数据

    1、客户端链接zookeeper集群,申请写数据
    2、zookeeper返回一个地址列表给客户端
    3、客户端根据地址列表链接slave节点写数据,并反馈状态
    ------------slave节点会主动上报存储状态及工况信息到master
    ------------master则主动将元数据上报zookeeper集群
    4、客户端告知zookeeper记录和状态

  • 相关阅读:
    一个简单实现的string类
    Python基础(二)
    Python基础(一)
    区块链初探
    某电商平台开发记要——客服系统
    某电商平台开发记要
    Upload files to aliyunOSS with bootstrap-fileinput
    jquery.validate[.unobtrusive]和Bootstrap实现tooltip错误提示
    PostgreSQL笔记
    天冷了,那些树还好吗?
  • 原文地址:https://www.cnblogs.com/mmzs/p/8125955.html
Copyright © 2011-2022 走看看