zoukankan      html  css  js  c++  java
  • 从零自学Hadoop(19):HBase介绍及安装

    阅读目录

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

    文章是哥(mephisto)写的,SourceLink

         上一篇,我们讲述了Hive的CLI和JDBC,从编程和使用的角度进入了Hadoop生态。这里就介绍下Hadoop DataBase,简称HBase。

       下面我们开始介绍HBase的介绍及安装。

    介绍

    一:定义

      HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

    二:架构

     

    Client

      包含访问HBase的接口,并维护cache来加快对HBase的访问,比如region的位置信息。

    Master

      为Region server分配region

      负责Region server的负载均衡

      发现失效的Region server并重新分配其上的region

      管理用户对table的增删改查操作

    Region Server

      Regionserver维护region,处理对这些region的IO请求

      Regionserver负责切分在运行过程中变得过大的region

    Zookeeper作用

      通过选举,保证任何时候,集群中只有一个master,Master与RegionServers 启动时会向ZooKeeper注册

      存贮所有Region的寻址入口

      实时监控Region server的上线和下线信息。并实时通知给Master

      存储HBase的schema和table元数据

      默认情况下,HBase 管理ZooKeeper 实例,比如, 启动或者停止ZooKeeper
      Zookeeper的引入使得Master不再是单点故障

     Write-Ahead-Log(WAL)

      每个HRegionServer中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLog文件格式见后续),HLog文件定期会滚动出新的,并删除旧的文件(已持久化到StoreFile中的数据)。当HRegionServer意外终止后,HMaster会通过Zookeeper感知到,HMaster首先会处理遗留的 HLog文件,将其中不同Region的Log数据进行拆分,分别放到相应region的目录下,然后再将失效的region重新分配,领取 到这些region的HRegionServer在Load Region的过程中,会发现有历史HLog需要处理,因此会Replay HLog中的数据到MemStore中,然后flush到StoreFiles,完成数据恢复。

    HBase容错性

    Master容错:

      Zookeeper重新选择一个新的Master
        无Master过程中,数据读取仍照常进行;
        无master过程中,region切分、负载均衡等无法进行;
    RegionServer容错:

      定时向Zookeeper汇报心跳,如果一旦时间内未出现心跳,Master将该RegionServer上的Region重新分配到其他RegionServer上,失效服务器上“预写”日志由主服务器进行分割并派送给新的RegionServer

    Zookeeper容错:

      Zookeeper是一个可靠地服务,一般配置3或5个Zookeeper实例
    Region定位流程:

    安装

    一:已安装服务

      

    二:新增服务

      

    三:勾选HBase

      

    四:分布HBase相关组件

      

    五:分配从节点和客户端

      

    六:HBase配置

      设置HBase的配置。

      

    七:预览

      安装前预览。

      

    八:安装,测试,启动

      开始安装了,我们耐心的等待。

      

    八:完成

      

      

      

    九:效果

      我们可以看到ambari的监控界面可以看到已经装好的HBase  

      

      

      

    十:shell命令登陆

    hbase shell
    

      

    十一:HBase UI 

      

      

    --------------------------------------------------------------------

      到此,本章节的内容讲述完毕。

    系列索引

      【源】从零自学Hadoop系列索引

     

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

    文章是哥(mephisto)写的,SourceLink

  • 相关阅读:
    简单 dp 题选做
    UVa11327
    Codeforces Round #641 (div.2) 题解
    新博客
    数位dp的学习
    stl粗略用法
    cf437C The Child and Toy
    poj1995 Raising Modulo Numbers
    Tarjan的学习
    最短路模板
  • 原文地址:https://www.cnblogs.com/mephisto/p/5886351.html
Copyright © 2011-2022 走看看