HBase API 的用法总结

一、获得connection

因为connection为重量级框架，而admin 和table 为轻量级框架，所以在进行操作前，需要先初始化一个connection

public class ConnectionUtil {

    //可以获取Connection对象的方法
    public  static Connection getConn() throws IOException {

        return ConnectionFactory.createConnection();

    }

    //关闭connection对象的方法
    public static void  close(Connection conn) throws IOException {

        if (conn !=null){

            conn.close();

        }

    }


}

二、针对NameSpace 的API

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

/**
 * Created by VULCAN on 2020/3/20
 */
public class NameSpaceUtil {

    private  static Logger logger= LoggerFactory.getLogger(NameSpaceUtil.class);

    //list_namespace 查询所有库
    public  static List<String> listNameSpaces(Connection conn) throws IOException {

        ArrayList<String> nameSpaces = new ArrayList<>();

        //获取一个Admin对象
        Admin admin = conn.getAdmin();

        //调用方法取得带有namespace信息的descriptor
        NamespaceDescriptor[] namespaceDescriptors = admin.listNamespaceDescriptors();

        for (NamespaceDescriptor namespaceDescriptor : namespaceDescriptors) {

            nameSpaces.add(namespaceDescriptor.getName());

        }

        //关闭admin
        admin.close();

        return nameSpaces;

    }

    //判断库是否存在
    public  static  boolean  ifNSExists(Connection conn,String nsName) throws IOException {

        //校验库名，当字符串为null或者空字符时，返回true
        if (StringUtils.isBlank(nsName)){

            logger.error("请输入正确的库名!");

            return false;
        }

        //获取一个Admin对象
        Admin admin = conn.getAdmin();

        try {
            //根据库名获取库的描述，如果库的描述不存在，抛出NamespaceNotFoundException
            admin.getNamespaceDescriptor(nsName);

            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return  false;
        } finally {
            admin.close();
        }

    }


    // 创建库
    public  static  boolean  createNameSpace(Connection conn,String nsName) throws IOException {

        //校验库名
        if (StringUtils.isBlank(nsName)){

            logger.error("请输入正确的库名!");

            return false;
        }

        //获取一个Admin对象
        Admin admin = conn.getAdmin();

        try {
            //创建库的描述
                //此处只能用内部类bulid来创建descriptor对象
            NamespaceDescriptor namespaceDescriptor = NamespaceDescriptor.create(nsName).build();

            //根据库的描述创建库
            admin.createNamespace(namespaceDescriptor);

            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;

        } finally {
            admin.close();
        }

    }

    // 删除库 只能删除空库，库中有表无法删除
    public  static  boolean dropNameSpace(Connection conn,String nsName) throws IOException {

        //判断库是否存在，不存在就不需要删除
        if (!ifNSExists(conn,nsName)){

            logger.error("当前库："+nsName+"，不存在！");

            return false;

        }

        //判断库是否是空库
        List<String> tablesInNameSpace = getTablesInNameSpace(conn, nsName);

        if (!tablesInNameSpace.isEmpty()){

            logger.error("当前库："+nsName+"，非空！");

            return false;

        }

        //获取一个Admin对象
        Admin admin = conn.getAdmin();

        try {
            //删库
            admin.deleteNamespace(nsName);

            return true;
        } catch (Exception e) {
            e.printStackTrace();

            return false;
        } finally {

            admin.close();

        }

    }

    //获取库中所有的表
    public static  List<String> getTablesInNameSpace(Connection conn,String nsName) throws IOException {

        ArrayList<String> tableNames = new ArrayList<>();

        //获取一个Admin对象
        Admin admin = conn.getAdmin();

        TableName[] tableNames1 = admin.listTableNamesByNamespace(nsName);
        for (TableName tableName : tableNames1) {
            tableNames.add(tableName.toString());
        }

        //关闭admin
        admin.close();

        return tableNames;


    }

}

三、针对表的操作

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;

/**
 * Created by VULCAN on 2020/3/20
 */
public class TableUtil {

    private  static Logger logger= LoggerFactory.getLogger(TableUtil.class);


    //判断表名是否合法，如果合法返回表的TableName,如果不合法，返回null
    public static TableName checkTableName(String tableName, String nsname){

        //验证表名是否合法
        if (StringUtils.isBlank(tableName)){

            logger.error("请输入正确的表名!");

            return null;

        }

        return  TableName.valueOf(nsname,tableName);

    }

    //判断表是否存在
    public static boolean ifTableExists(Connection connection, String tableName, String nsname) throws IOException {

        //验证表名是否合法
        TableName tn = checkTableName(tableName, nsname);

        if (tn==null){

            return false;
        }

        Admin admin = connection.getAdmin();

        boolean tableExists = admin.tableExists(tn);

        admin.close();

        return tableExists;

    }

    //创建表
    public static boolean createTable(Connection connection, String tableName, String nsname,String...cfs) throws IOException {

        //验证表是否存在
        if(ifTableExists(connection,tableName, nsname)){

            logger.warn(tableName+"已经存在！无需再创建！");

            return false;

        };

        TableName tn = checkTableName(tableName, nsname);

        if (cfs.length<1){

            logger.warn("至少需要指定一个列族！");

            return false;

        }

        Admin admin = connection.getAdmin();

        //创建表的描述和定义
        HTableDescriptor hTableDescriptor = new HTableDescriptor(tn);

        //列族需要在表的描述和定义中指定

        for (String cf : cfs) {

            //定义列族
            HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(cf);

            //可以调用列族的set()方法设置列族的属性
           // hColumnDescriptor.setVersions()

            hTableDescriptor.addFamily(hColumnDescriptor);

        }
        //基于表的描述创建表
        admin.createTable(hTableDescriptor);

        admin.close();

        return true;

    }


    //删除表
    public static boolean dropTable(Connection connection, String tableName, String nsname) throws IOException {

        //验证表是否存在
        if(!ifTableExists(connection,tableName, nsname)){

            logger.warn(tableName+"不存在！无法删除！");

            return false;

        };

        //获取表名
        TableName tn = checkTableName(tableName, nsname);

        Admin admin = connection.getAdmin();

        //删除前，需要先disable表
        admin.disableTable(tn);

        //删除表
        admin.deleteTable(tn);

        admin.close();

        return true;

    }

}

 四、针对数据的操作

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

/**
 * Created by VULCAN on 2020/3/21
 */
public class DataUtil {

    //返回指定表名的Table对象
    public static Table getTableByName(Connection conn,String nsName,String tableName) throws IOException {

        TableName tn = TableUtil.checkTableName(tableName, nsName);

        if (tn == null){

            return null;

        }

       return conn.getTable(tn);

    }

    //put    put 表名  rowkey 列族名:列名  值  [时间戳]  put是向某一行的某列添加一个value
    public static void put(Connection conn,String nsName,String tableName,String rowkey,String cfName,String cqName,String value) throws IOException {

        Table table = getTableByName(conn, nsName, tableName);

        if (table==null){
            return ;
        }

        //使用Table进行put操作
        // put对象需要基于rowkey构建
        Put put = new Put(Bytes.toBytes(rowkey));

        //向put对象中封装参数
        put.addColumn(Bytes.toBytes(cfName),Bytes.toBytes(cqName),Bytes.toBytes(value));
               // .addColumn().addColumn()

        table.put(put);

        table.close();

    }

    //get  查询一行的内容  get 表名 rowkey [列名]
    public  static  Result get(Connection conn,String nsName,String tableName,String rowkey) throws IOException {
        
        //获取表对象
        Table table = getTableByName(conn, nsName, tableName);

        if (table==null){
            return null;
        }
        
        //构建get对象
        Get get = new Get(Bytes.toBytes(rowkey));
        
        //向get中，封装查询的参数
        //只查询某个列
       // get.addColumn()
        // 只查某个列族
        //get.addFamily()
        //只查某个版本
        //get.setTimeStamp()
        //设置查询的最大版本数量
        ///get.setMaxVersions()

        Result result = table.get(get);

        table.close();

        return result;

    }

    //遍历单行Result中的数据
    public static  void  parseResult(Result result){

        if (result !=null){

            //遍历这一行内容所有的Cell
            Cell[] cells = result.rawCells();

            for (Cell cell : cells) {
                //利用Cell Util的clonexxx来获取相应的值

                System.out.println("Row:"+ Bytes.toString(CellUtil.cloneRow(cell)));
                System.out.println("Family:"+ Bytes.toString(CellUtil.cloneFamily(cell)));
                System.out.println("Qualifier:"+ Bytes.toString(CellUtil.cloneQualifier(cell)));
                System.out.println("Value:"+ Bytes.toString(CellUtil.cloneValue(cell)));

                System.out.println("-----------------------------------------");

            }

        }

    }

    //scan
    public static void  scan(Connection conn,String nsName,String tableName) throws IOException {

        //获取表对象
        Table table = getTableByName(conn, nsName, tableName);

        if (table==null){
            return ;
        }

        //scan代表一个扫描器
        Scan scan = new Scan();
        
        //在scan中设置要扫描的参数
        //只扫某些列
        //scan.addColumn()
        //只扫某个列族
        //scan.addFamily()
        // 指定起始行和终止行
        //scan.setStartRow()
        //scan.setStopRow()
        // 专家设置 ，{RAW=>TRUE,VERSIONS=>10}
        // scan.setMaxVersions(10);
        // scan.setRaw(true);

        ResultScanner scanner = table.getScanner(scan);

        for (Result result : scanner) {

            parseResult(result);

        }

        table.close();

    }

    //delete  delete 表名 rowkey [列名] [ts]
    public  static  void delete(Connection conn, String nsName, String tableName, String rowkey) throws IOException {

        //获取表对象
        Table table = getTableByName(conn, nsName, tableName);

        if (table==null){
            return ;
        }

        //删除一整行  为当前行的每个列族都添加一条  列族名:  ，type=DeleteFamily的记录
        Delete delete = new Delete(Bytes.toBytes(rowkey));

        //删除某个列族  为当前行的指定列族都添加一条  列族名:  ，type=DeleteFamily的记录
       // delete.addFamily(Bytes.toBytes("cf1"));

        // 删除某个列  为指定列添加一条 列族名：列名，type=Delete的记录  删除当前列最新版本的cell，如果
        // 有历史版本，历史版本是可见的
       // delete.addColumn(Bytes.toBytes("cf1"),Bytes.toBytes("name"));

        //删除指定列的所有版本  为指定的列添加一条 列族名:列名， type=DeleteColumn的记录
        delete.addColumns(Bytes.toBytes("cf1"),Bytes.toBytes("name"));

        table.delete(delete);

        table.close();

    }
}