zoukankan      html  css  js  c++  java
  • Hadoop面试总结(三)Hbase、Spark

    Hbase

    Hbase 的角色:Hmaster和RegionServer

    Hmaster:

    管理RegionServer:监控和处理故障转移

    Region的分配

    RegionServer:

    存储Hbase的真实数据

    处理Hmaster分配给他的Region

    Hbase 的架构

    有两种:一种是作为存储的分布式文件系统、一种是作为数据处理的MR架构

    Hbase读流程

    因为表和表数据都是在HRegionServer上存放的,所以要先找到存放数据的那个HRegionServer;客户端去访问Zookeeper,从Zookeeper获取Meta表所在的位置信息;

    找到存放这个Meta表的HRegionServer,获取Meta中的元数据,根据元数据信息访问对应的HRegionServer;

    Hbase写流程

    Client先访问Zookeeper,找到meta表,并获取Meta表信息,确认要写入的HRegionServer;然后客户端想HRegionServer发起写入数据请求,收到HregionServer相应后开始写入数据;数据先写入HLog,防止数据丢失。然后写入Memstore,两者都写入成功则代表数据写入成功。

     

  • 相关阅读:
    js 获取url参数
    new Date()日期在IOS的兼容问题
    js判断是否为微信浏览器
    ionic3 带数据返回上一页
    ionic3 打包android apk
    https打开有地图页面问题
    限制字符个数
    placeholder兼容ie
    Sequence Classification
    Part of Speech Tagging
  • 原文地址:https://www.cnblogs.com/Vowzhou/p/11248680.html
Copyright © 2011-2022 走看看