zoukankan      html  css  js  c++  java
  • hbase 迁库移库步骤

    1 将数据导出
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_grzyfwtjxxb         /hbase/data_backup/20181030/t_zyzx_grzyfwtjxxb    
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_jrrz        		  /hbase/data_backup/20181030/t_zyzx_jrrz                                
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_kcxxmxb             /hbase/data_backup/20181030/t_zyzx_kcxxmxb
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_tob_zyfwtjxxb       /hbase/data_backup/20181030/t_zyzx_tob_zyfwtjxxb
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_twfile              /hbase/data_backup/20181030/t_zyzx_twfile
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_zyfwtjxxb           /hbase/data_backup/20181030/t_zyzx_zyfwtjxxb
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_zyjs_gjc            /hbase/data_backup/20181030/t_zyzx_zyjs_gjc
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_zyllmxb             /hbase/data_backup/20181030/t_zyzx_zyllmxb
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_zypjmxb             /hbase/data_backup/20181030/t_zyzx_zypjmxb
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_zyscmxb             /hbase/data_backup/20181030/t_zyzx_zyscmxb
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_zysh                /hbase/data_backup/20181030/t_zyzx_zysh
    hbase org.apache.hadoop.hbase.mapreduce.Export t_zyzx_zyxzmxb             /hbase/data_backup/20181030/t_zyzx_zyxzmxb
    
    2 将hbase文件获取为本地可读文件
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_grzyfwtjxxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_grzyfwtjxxb        
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_jrrz         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_jrrz
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_kcxxmxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_kcxxmxb
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_tob_zyfwtjxxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_tob_zyfwtjxxb
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_twfile         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_twfile
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_zyfwtjxxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_zyfwtjxxb
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_zyjs_gjc         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_zyjs_gjc
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_zyllmxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_zyllmxb
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_zypjmxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_zypjmxb
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_zyscmxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_zyscmxb
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_zysh         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_zysh
    hadoop fs -get /hbase/data_backup/20181030/t_zyzx_zyxzmxb         /wdcloud/data/hbase/data_backup/20181030/t_zyzx_zyxzmxb
    
    3 将导出的文件压缩导出
    tar -cf 20181030.tar  /wdcloud/data/hbase/data_backup/20181030/
    gzip 20181030.tar
    
    4 将导出的文件导入导新服务器解压
    tar -zxvf 20181030.tar
    
    5 新hbase库中新建表
    create 't_zyzx_grzyfwtjxxb','info' 
    create 't_zyzx_jrrz','info' 
    create 't_zyzx_kcxxmxb','info' 
    create 't_zyzx_tob_zyfwtjxxb','info' 
    create 't_zyzx_twfile','info' 
    create 't_zyzx_zyfwtjxxb','info' 
    create 't_zyzx_zyjs_gjc','info' 
    create 't_zyzx_zyllmxb','info' 
    create 't_zyzx_zypjmxb','info' 
    create 't_zyzx_zyscmxb','info' 
    create 't_zyzx_zysh','info' 
    create 't_zyzx_zyxzmxb','info' 
    
    6 新建hbase路径
    # 查看hbase路径
    hadoop fs -ls /
    # 新建hbase路径
    hadoop fs -mkdir /tmp/zyzx/20181031/
    
    7 将文件变为hbase可读文件
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_grzyfwtjxxb  /tmp/zyzx/20181031/t_zyzx_grzyfwtjxxb
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_jrrz  /tmp/zyzx/20181031/t_zyzx_jrrz
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_kcxxmxb  /tmp/zyzx/20181031/t_zyzx_kcxxmxb
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_tob_zyfwtjxxb  /tmp/zyzx/20181031/t_zyzx_tob_zyfwtjxxb
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_twfile  /tmp/zyzx/20181031/t_zyzx_twfile
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_zyfwtjxxb  /tmp/zyzx/20181031/t_zyzx_zyfwtjxxb
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_zyjs_gjc  /tmp/zyzx/20181031/t_zyzx_zyjs_gjc
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_zyllmxb  /tmp/zyzx/20181031/t_zyzx_zyllmxb
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_zypjmxb  /tmp/zyzx/20181031/t_zyzx_zypjmxb
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_zyscmxb  /tmp/zyzx/20181031/t_zyzx_zyscmxb
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_zysh  /tmp/zyzx/20181031/t_zyzx_zysh
    hadoop fs -put /wdcloud/data/hbase/20181030/t_zyzx_zyxzmxb  /tmp/zyzx/20181031/t_zyzx_zyxzmxb
    
    8 导入文件
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_grzyfwtjxxb /tmp/zyzx/20181031/t_zyzx_grzyfwtjxxb  
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_jrrz  /tmp/zyzx/20181031/t_zyzx_jrrz 
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_kcxxmxb /tmp/zyzx/20181031/t_zyzx_kcxxmxb
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_tob_zyfwtjxxb /tmp/zyzx/20181031/t_zyzx_tob_zyfwtjxxb
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_zyfwtjxxb /tmp/zyzx/20181031/t_zyzx_zyfwtjxxb
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_zyjs_gjc /tmp/zyzx/20181031/t_zyzx_zyjs_gjc
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_zyllmxb /tmp/zyzx/20181031/t_zyzx_zyllmxb
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_zypjmxb /tmp/zyzx/20181031/t_zyzx_zypjmxb
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_zyscmxb /tmp/zyzx/20181031/t_zyzx_zyscmxb
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_zysh /tmp/zyzx/20181031/t_zyzx_zysh
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_zyxzmxb /tmp/zyzx/20181031/t_zyzx_zyxzmxb
    hbase org.apache.hadoop.hbase.mapreduce.Import t_zyzx_twfile /tmp/zyzx/20181031/t_zyzx_twfile
    
    9.hbase基本命令
    # 切换hadoop用户
    su hadoop
    # 进入命令行
    hbase shell
    # 查看表数据
    describe 't_zyzx_grzyfwtjxxb'
    # 查看所有表
    list
    # 查看表条数
    count 't_zyzx_zyxzmxb'
    # 删除表 先 disable 再 drop
    disable 't1'
    drop 't1'
    # 查看数据
    get 'T_SYS_SEQUENCE','T_ZYZX_ZLB_ZLSX',{COLUMN => ['INFO:VERSION:toLong:c(org.apache.hadoop.hbase.util.Bytes).toLong']}
    get 'T_SYS_KEY','T_ZYZX_ZL_CB',{COLUMN => ['INFO:KEY:toLong:c(org.apache.hadoop.hbase.util.Bytes).toLong']}
    
    
    10.查看可用文件大小
    df -h
    

    11.查看文件夹大小
    du -sh *
    

    11.查看文件大小
    ll -h
    

  • 相关阅读:
    题解 P2280 【[HNOI2003]激光炸弹】
    线段树求逆序对
    题解 P3378 【【模板】堆】
    动态规划-最大算式 蓝桥杯ALGO-116
    动态规划-树形动态规划-结点选择
    Trie树(字典树)-题解 P2580 【于是他错误的点名开始了】
    清北学堂-DAY2-数论专题-中国剩余定理(CRT)
    听课笔记--DP--Authentication Failed
    听课笔记--DP--最大子矩阵和
    多媒体基础
  • 原文地址:https://www.cnblogs.com/zhucww/p/9882965.html
Copyright © 2011-2022 走看看