hbase表管理： 表切割 split 'ns1:t1','row1000' 区域切割 split 'REGION_NAME' , 'row500' 区域合并 merge 'ENCODED_REGIONNAME' ,'' 表移动 move 'ENCODED_REGIONNAME','SERVER_NAME' 紧凑表 //将storeFile中的多个小文件整合成单个文件 compact //minor_compact 力度较小，重启之后能看见效果 major_compact // 力度较大，即刻生效 REGION_NAME ENCODED_REGIONNAME SERVER_NAME s102,16020,timestamp 元数据： hbase:meta //元数据表，存放region和regionserver的映射 //一个region由一个regionserver进行管理 zk //存放hbase:meta的元数据，指明hbase:meta和regionserver的映射 定位region流程： client联系zk，定位hbase:meta的regionserver并请求数据 通过hbase:meta表定位要寻找的region并请求数据 定位完成会缓存请求数据，以便下次使用 HFile调参： 最小块大小，推荐在 8KB to 1MB之间 顺序读写推荐大块，但不便于随机访问(因为需要解压更多的数据) 小块便于随机读写，但是需要占用更多内存，但是创建起来更慢(因为块多，每次压缩都需要flush操作) 由于压缩缓存，最小块大小应该在20KB-30KB. cache和batch： 主要减少rpc请求次数 cache //一次缓存多少行 batch //一次缓存多少列 过滤器： select from xx 'where' RowFilter FamilyFilter QualifierFilter ValueFilter SingleColumnValueFilter //复杂过滤器，通过指定字段返回一整行数据 比较器： BinaryComparator // RegexStringComparator SubStringComparator // put优化： 每次put操作，都会进行autoFlush，同时产生一个RPC， 1、setAutoFlush 2、put(List<Put>) 3、setWriteToWAL(false) 组合过滤器：FilterList new FilterList(MUST_PASS_ONE) or MUST_PASS_ALL and hbase计数器： ============================ incr 'ns1:t4','row1','f1:count', 1 不存在的列 步数 作为自增字段 相当于在内部维护的一个普通long型数值，以自增形式进行展现 适用于统计点击事件。 得到计数器的数量： get 'ns1:t4','row1','f1:count3' get_counter 'ns1:t4','row1','f1:count3' get： ============================= Get get = new Get(Bytes.toBytes("row1")); get.addFamily() get.addColumn(Bytes.toBytes("f1"),Bytes.toBytes("count3")); count： ============================= 统计hbase中的行数，并不需要MR作业 count 'ns1:t5', CACHE => 10000, INTERVAL => 10000 缓存数据 打印间隔 默认1000 默认1000 desc 'ns1:t1' ============================== 在表中，不同的列族可以设定不同的属性 alter： alter 'ns1:t4', 'f3' //添加列族 alter 'ns1:t4', 'delete' => 'f1' //删除列族，delete必须小写 {NAME => 'f2', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TT L => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'} {NAME => 'f3', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TT L => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'} VERSIONS：版本数 alter 'ns1:t4', NAME => 'f2', VERSIONS => 5 //设定制定列族版本数为5 指定的是通过get能获取到的版本数 MIN_VERSIONS：最小版本数 alter 'ns1:t4',NAME => 'f2', MIN_VERSIONS => '3' //设定最小版本数为3 TTL:time to live alter 'ns1:t4',NAME => 'f2', TTL => '10' //数据存活时间（s） 一般和MIN_VERSIONS使用，超过设定值，数据会自动删除直到和MIN_VERSIONS版本数相等 KEEP_DELETED_CELLS：保留删除数据 alter 'ns1:t4', NAME => 'f2', KEEP_DELETED_CELLS => 'true' //设定保留删除数据 如果为false，则在重启hbase之后扫描不到删除的数据，及其之前时间戳的数据 查看数据往期版本： ================================= scan： scan 'ns1:t4', {RAW => true, VERSIONS => 2} //原生扫描，返回所有版本数据，专家模式 对于原生扫描，不能指定对应的列，列族可以 get： get 'ns1:t4','row0',{COLUMN => 'f2:age', VERSIONS => 4} //get 'ns1:t4','row0',{COLUM=>'f2:age',VERSIONS => 4} 指定版本、时间戳获取数据 get和scan： ======================================================= 1、 scan的原生扫描，不受版本号限制(VERSIONS) scan 'ns1:t4', { ROW => true, VERSIONS => 10 } //scan 'ns1:t4',{ROW => true,VERSIONS =>10} get指定版本号，受版本号限制(VERSIONS) get 'ns1:t4','row0',{COLUMN => 'f2:age', VERSIONS => 10} 2、 删除数据。指定时间戳 delete 'ns1:t4','row0','f2:age',1522724676530 scan的原生扫描，仍然能够读取删除数据 scan 'ns1:t4', { ROW => true, VERSIONS => 10 } get指定版本号，在删除数据之前的数据均不能得到 get 'ns1:t4','row0',{COLUMN => 'f2:age', VERSIONS => 10} Compression： ============================= LZO SNAPPY GZ NONE LZ4 ZSTD hbase org.apache.hadoop.hbase.util.CompressionTest file:///home/centos/oldWAL lz4 //测试压缩算法是否有效 设置列族使用压缩： 0、创建表： create 'ns1:t4', 'f1','f2' 1、禁用表： disable 'ns1:t4' 2、修改 alter 'ns1:t4', {NAME =>'f3', COMPRESSION => 'GZ'} 3、启用表 enable 'ns1:t4' 4、major_compact强制表数据使用现有的压缩格式 问题: ERROR: org.apache.hadoop.hbase.NotServingRegionException: Region ns1:t1,,1522634115455.77c55f893ecec3bbb2dfd02e3737c0c2. is not online on s103,16020,1522736736293 解决： hbase的压缩，只能在表创建时候使用，当表中有数据，则会报错 close_region和Assign： =============================== 1、close_region //将指定区域和regionserver处于离线状态 //close_region 'ENCODED_REGIONNAME' //close_region 'REGIONNAME' 2、assign //重新注册region //当region处于离线，则可以使用此方法将其重新注册 //assign 'ENCODED_REGIONNAME' // encoded_regionname //assign 'REGIONNAME' //regionname dr.who: ============================== hadoop设置默认http用户，叫做dr.who 0、关闭hdfs集群 stop-dfs.sh 1、修改hadoop的http静态用户名：core-site.xml nano /soft/hadoop/etc/hadoop/core-site.xml <property> <name>hadoop.http.staticuser.user</name> <value>centos</value> </property> 2、分发配置文件 xsync.sh /soft/hadoop/etc/hadoop/core-site.xml hbase和hive组合使用： =============================== hbase的表可以通过hive进行管理，使用hive的分析函数进行数据分析 hbase + 分析： 创建hive和hbase表，并通过hive操作hbase create table hive_hbase( id string, name string , age string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:name,f1:age") TBLPROPERTIES ("hbase.table.name" = "hive_hbase"); //:key,f1:name,f1:age //:key ======> rowKey =====> id //f1:name ===> f1:name =====> name //"hbase.table.name" = "hive_hbase"指定hive表在hbase中对应的表名 在hive关联已有hbase表： create external table ns1_t2( rowid string, id string, name string , age string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, f1:id, f1:name,f1:age") TBLPROPERTIES ("hbase.table.name" = "ns1:t2"); 注意：关联已有hbase表，需要创建外部表 hbase协处理器： =================================== 在服务端帮助客户端完成自定义的计算操作 监听客户端的请求，可以对应相应的"事件"进行相应的操作 //增 //删 //改 //查 //flush /...... 协处理器类型： observer //观察者,最常用 // regionObserver //最常用，负责数据的增删改查 MasterObserver //监控ddl操作，表的创建，库的创建 WALObserver //监控预写日志 endpoint //终端,在phoenix中含有此协处理器 //类似于RDBMS中的存储过程 协处理器的执行过程： 一个表中可以添加若干协处理器， 执行过程：system_copro ====> user1_copro ====> user2_copro =====> ... 高优先级 CoprocessorEnvironment类： 在协处理器中以参数形式传入，可以通过此参数获取到诸如HTable实例 <property> <name>hbase.coprocessor.region.classes</name> <value>com.oldboy.hbase.MyCoprocessor</value> <description>逗号分隔的完整类名集，加载regionObserver</description> </property> <property> <name>hbase.coprocessor.region.classes</name> <value></value> <description>逗号分隔的完整类名集，加载MasterObserver</description> </property> <property> <name>hbase.coprocessor.region.classes</name> <value></value> <description>逗号分隔的完整类名集，加载WALObserver，配置文件未找到</description> </property> BaseRegionObserver： ================================= 设计模式：适配器模式 //预实现 加载协处理器的步骤： ==================================== 0、修改pom文件，添加 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.2.6</version> </dependency> 1、将代码打包并放在/soft/hbase/lib/下,并分发 xsync.sh xxx 2、关闭hbase stop-hbase.sh 3、修改/soft/hbase/conf/hbase-site.xml,添加 <property> <name>hbase.coprocessor.region.classes</name> <value>com.oldboy.hbase.MyCoprocessor</value> <description>逗号分隔的完整类名集，加载regionObserver</description> </property> 3.5、分发配置文件 xsync.sh /soft/hbase/conf/hbase-site.xml 4、启动hbase start-hbase.sh 5、测试操作，在s102-s104观察日志文件 xcall.sh "cat ~/observer.log" RowKey设计原则： ================================ hbase：row + col 没数据，就是没有数据 RDBMS：row + col 没数据，用null来补充 id name age rdbms 1 tom null rowKey搜索： 从key的最左开始搜索： key:row1/f1:age/1522634241444/Put/vlen=1/seqid=22 value:1 搜索性能：从rowKey到value，搜索性能逐级降低 高表和宽表： 由于hbase的搜索性能，建议使用高表代替宽表 rowKey设计原则： ========================= rowKey最长64K,建议不超过16字节 1、使用组合键： eg：userId_msgId做为rowKey //用户接受信息场景 userid msgid userinfo msg 1 1 2 3 43 5 2、在组合键基础上使用子串对比进行检索，自定义查询粒度 SubStringComparator 3、在组合键基础上可以通过调整字段顺序来改变权重 eg：userId_msgId ====> msgId_userId 4、salt，盐析 //避免数据倾斜 使用定长加密方式，将rowKey打散，如md5加密 散列，防止热点问题（类似数据倾向情况） eg:ns1:t6,,1522739236028.f8874782c841bafa796da0678512e4df. 作为rowKey 5、使用随机数设置rowKey //避免数据倾斜，但是数据太散，搜索效率得不到提升 md5(timestamp) 6、使用大数-id的方法，倒序排序 //原因是由于hbase的字节排序 eg:Long.MaxValue - id 1 1000 - 1 999（有序） 10 1000 - 10 990 2 1000 - 2 998 7、格式化数据串 0 ===> 00000 10 ===> 00010