zoukankan      html  css  js  c++  java
  • Hbase 笔记(12) 集群管理

    1、减少节点

    减少:graceful_stop.sh VA128 

    系统会把region从对应服务器上移出去,减少扰动。

    重新启动节点: hbase-daemon.sh start regionserver


    2、滚动重启

    使用 hbase hbck  可以确认集群数据的一致性(meta 表)


    3、新增服务器

    添加备份hmaster:

    (1). 方法1:修改 backup-masters 文件,  添加机器名

    (2) 方法2:使用命令 hbase-daemon.sh start master --backup

    添加新的region server:

    (1). 方法1:修改regionservers 文件

    (2) 方法2:使用命令 hbase-daemon.sh start regionserver


    4、导入、导出数据

    Hbase 包自带工具

    导出命令:hadoop jar ./hbase-0.94.24.jar export testtable   /user/admin/testtable

    导入命令:hadoop jar ./hbase-0.94.24.jar import testtable   /user/admin/testtable


    5、CopyTable 工具

    用于主从集群之间的复制

    hadoop jar ./hbase-0.94.24.jar copyTable  --new.name=testtable2   testtable


    6、批量导入

    方法1:MapReduce 方法

    方法2:hadoop jar ./hbase-0.94.24.jar importtv

    hadoop jar ./hbase-0.94.24.jar completebulkload


    7、复制

    配置hbase.replication 为true

    然后使用命令:

    add_peer  '1', 'server2:2181:/hbase2'

    start_replication

    stop_replication

    remove_peer '1'

    确认复制

    hadoop jar ./hbase-0.94.24.jar  verifyrep

    8、集群共存

    为了测试,可让让两个不同的HBase实例运行在同一个物理机器上。

    9、改变日志级别

    修改 log4j.properties


    10、故障处理  Fsck

     命令:hbase hbck

    可以检查region是否同时存在于.MTAT. 表和HDFS中,检查其是否只被指派给唯一的region server。

    可以通过表细节信息与region比较,找到缺失的region,检查region起始终止键范围中的空洞或重叠。

    -fix 选项可修复问题


    11、日志分析

    12、常见问题

    (1)、 安装检查内容: 

    文件句柄:cat  /proc/<PID of  JVM>/limits

    DataNode连接数

      <property>
             <name>dfs.datanode.max.xcievers</name>
             <value>4096</value>
      </property>

    压缩:

    垃圾回收/内存调优


    (2)、稳定性问题

    ZooKeeper 不能与 DataNode、TaskTracker、RegionServer部署在同一个节点

    在小集群中,ZooKeeper 可与NameNode、SecondaryNamenode、JobTracker 部署到一起。 


  • 相关阅读:
    leetcode--Populating Next Right Pointers in Each Node II
    leetcode—Populating Next Right Pointers in Each Node
    Pascal's Triangle II
    leetcode—pascal triangle
    leetcode—triangle
    October 23rd, 2017 Week 43rd Monday
    October 22nd, 2017 Week 43rd Sunday
    October 21st 2017 Week 42nd Saturday
    October 20th 2017 Week 42nd Friday
    October 19th 2017 Week 42nd Thursday
  • 原文地址:https://www.cnblogs.com/leeeee/p/7276335.html
Copyright © 2011-2022 走看看