zoukankan      html  css  js  c++  java
  • hbase 的hdfs目录解析

    Hbase在hdfs上的存储位置,根目录是由配置项hbase.rootdir决定,默认就是"/hbase"

    其中hbase master 的webui 由参数hbase.master.info.port决定,一般配置为 60010

     [dip@g3-test-36 ~]$ hadoop fs -ls /hbase
    Found 7 items
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/.tmp
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/MasterProcWALs
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/WALs
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/data
    -rw-r--r--   3 dip supergroup         42 2020-07-30 15:43 /hbase/hbase.id
    -rw-r--r--   3 dip supergroup          7 2020-07-30 15:43 /hbase/hbase.version
    drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/oldWALs

    一、/hbase/.tmp

    当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

    二、/hbase/MasterProcWALs

    这部分存储的是hbase master的状态日志,仔细搜索了一下相关文章,发现cdh的社区大佬faston发表过一篇文章:《由MasterProcWals状态日志过多导致的HBase Master重启失败问题

    需要琢磨一下配置定期清理策略(cdh和apache环境)

    /hbase/WALs
    在该目录下,对于每个RegionServer,都会对应1~n个子目录

     /hbase/oldWALs

    当/hbase/WALs中的HLog文件被持久化到存储文件时,它们就会被移动到/hbase/oldWALs

    /hbase/hbase.id

    集群唯一的id

    /hbase/hbase.version

    集群的文件格式版本信息

  • 相关阅读:
    POJ 1044: Date bugs
    POJ 1017: Packets
    POJ 1014: Dividing
    POJ 1012: Joseph
    POJ 1011: Sticks
    POJ 1008: Maya Calendar
    POJ 1005: I Think I Need a Houseboat
    为什么要自动化测试
    微软CodeDom模型学习笔记(全)
    概念完整性
  • 原文地址:https://www.cnblogs.com/students/p/13405380.html
Copyright © 2011-2022 走看看