zoukankan      html  css  js  c++  java
  • HBase相关问题

    HBase和Hive的异同之处?

    共同点:HBase与Hive都是架构在Hadoop之上,底层存储都是使用HDFS

    区别:

      1). Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统。HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。

      2). hive是高延迟结构化面向分析的,hbase是低延迟非结构化面向编程

      2). Hive的表是逻辑表,它本身不存储和计算数据,它完全依赖于HDFS和MapReduce,高延迟的特点。

      3). HBase的表是物理表,hdfs作为底层存储,而HBase负责组织文件。 提供一个超大的内存hash表,搜索引擎通过它来存储索引,方便查询操作。

    HBase和RDBMS的异同之处?

      1.数据类型:HBase只有简单的字符串类型(压缩率高),所有的类型都是交由用户自己处理。而RDBMS有丰富的类型和存储方式。
      2.数据操作:HBase只有很简单的插入、查询、删除、清空等操作,表和表之间是分离的,没有复杂的表和表之间的关系。而RDBMS通常有各式各样的函数和连接操作。 
      3.存储模式:HBase是基于列存储的,每个列族都由几个文件保存,不同列族的文件是分离的。而RDBMS是基于表格结构和行模式保存的 。
      4.数据维护:HBase的更新操作不应该叫更新,它实际上是追加新的数据。而RDBMS是替换修改。
      5.可伸缩性:Hbase这类分布式数据库就是为了这个目的而开发出来的,所以它能够轻松增加或减少硬件的数量,并且对错误的兼容性比较高。而RDBMS通常需要增加中间层才能实现类似的功能。

    Hbase的优缺点
      1. HBase列可以动态增加,并且列为空就不存储数据,节省存储空间。
      2. Hbase自动切分数据,使得数据存储自动具有水平Scalability
      3. Hbase可以提供基于RowKey的高并发读写操作。
    缺点: 不能支持条件查询,只支持按照Row key来查询.

    什么时候选择HBase 

      1).超大数据量上高并发操作,高速插入,大量读取
      2).记录非常稀疏
      3).多版本数据
      4).对于数据结构中字段不够确定或杂乱无章,很难按一个概念去进行抽取的数据适合用HBase。

    HBase容错性

    Master容错:Zookeeper重新选择一个新的Master
      1).无Master过程中,数据读取仍照常进行;
      2).无master过程中,region切分、负载均衡等无法进行;
    RegionServer容错:定时向Zookeeper汇报心跳,如果一旦时间内未出现心跳
      1).Master将该RegionServer上的Region重新分配到其他RegionServer上;
      2).失效服务器上“预写”HLog日志由主服务器进行分割并派送给新的RegionServer
    Zookeeper容错:Zookeeper是一个可靠地服务
      1).一般配置3或5个Zookeeper实例。

    HBase的Delete机理

    Delete命令并不立即删除内容。实际上,它只是给记录打上删除的标记“墓碑”(tombstone)。墓碑记录不能在Get和Scan命令中返回结果。因为HFile是只读文件,这些墓碑记录直到执行一次大合并(major compaction)才会被删除。 详见HBase相关概念

  • 相关阅读:
    【BZOJ1029】[JSOI2007] 建筑抢修(堆优化贪心)
    【CF799B】T-shirt buying(一道很水的小根堆)
    【BZOJ1076】[SCOI2008] 奖励关(状压DP)
    【BZOJ1087】[SCOI2005] 互不侵犯King(状压DP)
    【BZOJ3209】花神的数论题(数位DP)
    【BZOJ1833】[ZJOI2010] count 数字计数(数位DP)
    【洛谷】CYJian的水题大赛 解题报告
    【洛谷3959】宝藏(随机算法乱搞)
    【洛谷2709】小B的询问(莫队模板题)
    【洛谷2403】[SDOI2010] 所驼门王的宝藏(Tarjan+dfs遍历)
  • 原文地址:https://www.cnblogs.com/skyl/p/4800634.html
Copyright © 2011-2022 走看看