[BD] Hive

简介

• 基于HDFS上的数据仓库

            

• 基于HDFS上的数据分析引擎
  • 2.x 前：SQL -----> Hive  ----> MapReduce
  • 2.x 后：推荐执行引擎为 Spark
• 支持SQL子集

体系架构

• 执行方式：CLI、JDBC、HWI（推荐HUE）
• Hive元信息：表名、列名、列的类型、分区、桶，存储在MySQL中
• 读取MySQL得到Hive元信息
• 数据在HDFS中

安装配置

• 嵌入模式
• 不需要MySQL，使用Hive自带的Derby数据库存储元信息（Derby较小，嵌入到Hive中）
• • 只支持一个连接，用于开发和测试
• 本地模式
  • 需要MySQL，Hive和MySQL在一起
  • 连接驱动：mysql-connector-java-5.1.43-bin
• 远程模式
  • 需要MySQL，Hive和MySQL不在一起
  • 在 hive-site.xml 中写入mysql地址
  • mysql中TBLS存储Hive表信息，COLUMNS_2保存列的信息

数据模型

• 内部表：类似MySQL中的表

• • 导入数据：load（剪切）　　
  • 静默模式：hive -S（不打印日志）
• 分区表：建立分区，提高效率
  • 一个分区对应一个HDFS文件

create table emp_part
(empno int,
ename string,
job   string,
mgr   int,
hiredate string,
sal   int,
comm  int
)partitioned by (deptno int)
row format delimited fields terminated by ',';

• • select * from emp_part where deptno=10;
  • 打印执行计划：explain select * from emp_part where deptno=10;
• 外部表：只定义表结构，数据保存在HDFS的某目录下
• 桶表：类似Hash分区，对要插入的数据进行hash运算再插入，查询效率提高，插入效率降低
• 视图：
  • 是一个虚表，查询操作和普通表一样，但不存储数据，数据来自底层依赖的基表
  • 作用：简化复杂的查询（不提高效率）

执行Hive查询

• 执行HQL，HQL是SQL的子集
• 转换为MapReduce程序执行
• 使用 sqoop 导入 mysql 的数据，或将Hive的数据导出到mysql

使用JDBC查询

• 启动 hive thrift 服务
  • hive --server hiveserver2
• 将hive lib下的jar包下载到本地，添加依赖

JDBCUtils.java

package jdbc;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

/*
 * 工具类：
 * 1、获取数据库Hive链接
 * 2、释放资源
 */
public class JDBCUtils {

    //Hive数据库的驱动
    private static String driver = "org.apache.hive.jdbc.HiveDriver";                                
    
    //Hive位置
    private static String url = "jdbc:hive2://192.168.174.111:7777/default";

    //注册驱动
    static{
        try {
            Class.forName(driver);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            throw new ExceptionInInitializerError(e);
        }
    }

    //获取链接
    public static Connection getConnection(){
        try {
            return DriverManager.getConnection(url);
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return null;
    }

    public static void release(Connection conn,Statement st,ResultSet rs){
        if(rs != null){
            try {
                rs.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }finally{
                rs = null;
            }
        }
        
        if(st != null){
            try {
                st.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }finally{
                st = null;
            }
        }
        
        if(conn != null){
            try {
                conn.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }finally{
                conn = null;
            }
        }
    }
}

TestHive.java

package jdbc;

import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;

public class TestHive {

    public static void main(String[] args) {
        //查询: select * from emp1;
        Connection conn = null;
        Statement st = null;
        ResultSet rs = null;
        try{
            conn = JDBCUtils.getConnection();
            st = conn.createStatement();
            
            //执行SQL
            rs = st.executeQuery("select * from emp1");
            while(rs.next()){
                String ename = rs.getString("ename");
                System.out.println(ename);
            }
        }catch(Exception ex){
            ex.printStackTrace();
        }finally{
            //释放资源
            JDBCUtils.release(conn, st, rs);
        }
    }
}

Hive自定义函数

• UDF：User Define Function，封装业务逻辑，本质是java程序

MyConcatString

package demo.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

public class MyConcatString extends UDF{
    public String evaluate(String a,String b) {
        return a+"**************"+b;
    }
}

CheckSalaryGrade

package demo.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

public class CheckSalaryGrade extends UDF{
    public String evaluate(String salary) {
        int sal = Integer.parseInt(salary);
        if(sal < 1000) return "Grade A";
        else if(sal>=1000 && sal<3000) return "Grade B";
        else return "Grade C";
    }
}

• 把package打包为jar包，上传到/root/tmp
• 部署jar包
  • 把jar包加入Hive的Classpath
    • add jar /root/tmp/MyUDF.jar;
  • 为自定义函数创建别名
    • create temporary tunction myconcat as 'udf.MyConcatString';
    • create temporary tunction checksal as 'udf.CheckSalaryGrade';

参考

hive报错

https://blog.csdn.net/qq_40048866/article/details/90041277

https://www.cnblogs.com/lijinze-tsinghua/p/8563054.html

https://blog.csdn.net/SunnyYoona/article/details/51648871

beeline

https://www.cnblogs.com/lenmom/p/11218807.html

https://blog.csdn.net/leanaoo/article/details/83351240

Hive set

https://meihuakaile.github.io/2018/10/19/hive-set%E8%AE%BE%E7%BD%AE/