zoukankan      html  css  js  c++  java
  • 基于Azure blob storage T级别HBase表恢复

         为减少Hbase集群压力,提高性能,我们将HBase库中的数据移到另外的存储,下面记录当我需要对数据进行计算时,数据恢复的过程

    目录:

    •  Azure storage explorer 工具
    • 数据复制
    • 元数据修复
    • 测试验证

    Azure Storage Explorer工具


    • 免费工具下载地址:http://storageexplorer.com/
    • 本地安装后,连接至Azure存储,如下图:
    • 说明:
      1. 源存储和目标存储所属同一区域时,复制性能更佳,同时注意一下,我使用的storage explorer比较low的地方,copy时没有进度条
      2. 在目标hbase集群中,将完整的目录copy过去后,使用hbase hbck 修复命令如果目标集群中表不存在时,修复命令会自动创建表

    数据复制


    • 说明:完整目录copy,使用工具上的复制、粘贴即可,复制的性能还可以
    • BMS: 16:30-16:40 耗时10分钟,数据量大小如下:
    • Power:17:10-17:47 耗时37分钟,数据量大小:
    • 文件夹重命名:工具会新建文件夹,同时将源文件内容copy至新的文件夹下,然后删除源文件夹,数据量大的话,比较费劲

    元数据修复


    • 数据复制完成后,进入hbase安装目录,进行元数据修复,快捷修复命令:hbase hbck -repair -ignorePreCheckPermission
    • 修复成功后,如下图:

    测试验证


    • 进入hbase shell 命令模式
    • 命令:list  (如下图,说明表修复正常)
    • 命令: scan 'TerminalData',{LIMIT=>1} (如下图,读写正常)
  • 相关阅读:
    udp用户数据报协议
    java调用url
    mybatis中的#和$的区别
    sun.misc.BASE64Encoder图片编码,并在页面显示
    oracle查看列数据类型
    MyBatis传入多个参数的问题
    ajax详解
    Comparable和Comparator的区别
    谈谈hashcode和equals的用法
    从为什么String=String谈到StringBuilder和StringBuffer
  • 原文地址:https://www.cnblogs.com/tgzhu/p/6283058.html
Copyright © 2011-2022 走看看