Hive（笔记）

（2015.07.22Hive笔记）

一、Hive的安装

1.1Hive的安装过程

下载hive源文件（apache-hive-0.14.0-bin.tar.gz ）

解压hive文件

进入$HIVE_HOME/conf/修改文件

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template（模板文档，提供了hive很多参数） hive-site.xml

 

 

修改$HIVE_HOME/conf的hive-env.sh，增加以下三行

export JAVA_HOME=/usr/local/jdk1.7.0_45

export HIVE_HOME=/usr/local/hive-0.14.0

export HADOOP_HOME=/usr/local/hadoop-2.6.0

配置MySQL的metastore

 

修改$HIVE_HOME/conf/hive-site.xml

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://192.168.1.101:3306/hive？

         createDatabaseIfNotExist=true</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>（lib目录下默认没有驱动，需要自己下载mysql-connector-java-5.1.10.jar，因为自带了derby-10.10.1.1.jar，能启动derby数据库）

</property>

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hive</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>hive</value>

</property>

 

 

 

<property>

　　<name>hive.querylog.location</name>

　　<value>/usr/local/hive-0.14.0/tmp</value>

</property>

 

<property>

　　<name>hive.exec.local.scratchdir</name>

　　<value>/usr/local/hive-0.14.0/tmp</value>

</property>

 

<property>

　　<name>hive.downloaded.resources.dir</name>

　　<value>/usr/local/hive-0.14.0/tmp</value>

</property>

 

 

连接本地Mysql解决办法（感谢为我提供帮助的国柱、其国、世昌师兄们和老师）

1.首先登陆到mysql

mysql -uroot -pmysql

2.创建远程登陆用户并授权

grant all PRIVILEGES on test_db.* to root@'192.168.1.101' identified by 'root';

3.执行了上面的语句后，再执行下面的语句，方可立即生效。

flush privileges;

 

如果不行

先use mysql;

然后UPDATE user SET `Host` = '%' WHERE `User` = 'root' LIMIT 1;

flush privileges;

 

我还是有一些疑问1：现在不能用root用户登录，只能用其他用户登录对吗？其他用户的权限少了些什么？2配置文件连接的是192.168.1.101，在qlyog127.0.0.1新建一个hive数据库才能用（hive新建的表的元数据都保存在那里，而不是192.168.1.101）

 

新创建一个用户，不要用root，估计root串了。

use mysql;

grant all privileges on *.* to <用户名>@'%' identified by '密码';

flush privilege;

SELECT `Host`,`User` FROM user;

alter database hive character set latin1;

 

成功连接mysql启动hive

 

因为$HIVE_HOME/lib目录下有derby的jar包所以使用derby作为默认的metastore。

Hive1.2版本中的jline-2.12.jar包与hadoop2.6.0（jline-0.9.94.jar版本）不兼容，解决办法，将这个jar包复制到hadoop的lib目录下。

 

 

1.2hive web界面模式

 

web界面安装：

下载apache-hive-0.14.0-src.tar.gz（版本需要对应）

制作war包放在HIVE_HOME/lib/ : （apache-hive-0.14.0-src.tar\apache-hive-0.14.0-src\hwi将web解压出来，里面的jsp文件就是hwi的显示界面 ）hwi/web/*里面所有的文件打成war包（压缩文件，并重命名为hive-hwi-0.14.0.war）

复制tool.jar(jdk的lib包下面的tool.jar包)到HIVE_HOME/lib下

修改hive-site.xml(HIVE_HOME/conf)

<property>

　　<name>hive.hwi.listen.host</name>

　　<value>0.0.0.0</value>

</property>

<property>

　　<name>hive.hwi.listen.port</name>

　　<value>9999</value>

</property>

<property>

　　<name>hive.hwi.war.file</name>

　　<value>lib/hive-hwi-0.14.0.war</value>

</property>

hive web界面的 (端口号9999) 启动方式

    #hive --service hwi &（&表示后台显示）

用于通过浏览器来访问hive    

    http://hadoop0:9999/hwi/

 

可以查看hive的系统信息，hadoop日志路径信息等

 

 

1.3set命令使用

 

hive控制台set命令:

set hive.cli.print.current.db=true;

set hive.cli.print.header=true;

set hive.metastore.warehouse.dir=/hive;

hive参数初始化配置set命令:

~/.hiverc（存放在每个用户的主目录下面,可以创建一个.hiverc，将set命令的参数复制进去，重新启动执行hive，就可以将set命令执行起来）

补充：

hive历史操作命令集（more .hivehistory查看一下）

~/.hivehistory

 

直接查看（执行set），查看hadoop定义的全部变量，hive底层依赖的hadoop环境变量配置信息（set -v）

设置name变量并初始化（set hivevar：name=crxy;）显示（set hivevar：name;），传值（create table t2（name string,${hivevar:name} string）;）

1. 基本数据类型

   

    

   String和int在创建表，时间戳（hive与Hbase结合时，底层的映射结构，是自动完成，如果没有，hive与Hbase结合有困难）

    

    

   2.1复合数据类型

   创建学生表

   hive>CREATE TABLE student(

   id INT,

   name STRING,

   favors ARRAY<STRING>,

   scores MAP<STRING, FLOAT>

   );

    

   2.2hive记录中默认分隔符

    

   分隔符    描述                                语句

   \n        分隔行    LINES TERMINATED BY '\t'

   ^A        分隔字段(列)，显示编码使用\001    FIELDS TERMINATED BY '\001'

   ^B        分隔复合类型中的元素，显示编码使用\002    COLLECTION ITEMS TERMINATED BY '\002'

   ^C        分隔map元素的key和value，显示编码使用\003    MAP KEYS TERMINATED BY '\003'

    

    

   Hdfs存储表时用的是分隔符

   原始数据组织方式(导入hive表前的数据)

   1001\001zhangsan\001AA\002\BB\001key\003value 1002\001lisi

   在hdfs数组存放方式

   1001^Azhangsan^AAA^BBB^Akey^Cvalue\n1002^Alisi

    

    

   2.3复合类型—Struct使用

   structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域a

   hive> create table student_test(id INT, info struct<name:STRING, age:INT>) ROW FORMAT DELIMITED(限定) FIELDS TERMINATED（终止） BY ',' COLLECTION（集合） ITEMS TERMINATED BY ':'; （第一个是字段id与struct结构体的分隔符逗号或者tab（\t）都可以，第二个是struct分割）

   

   

   vi student_test

   1001,zhangsan:24

   1002,lisi:28

   1003,wangwu:25

   

   （local inpath,应该就是为什么可以将/root/student_test传进去)

   

   (导入数据)load data local inpath"student_test" into table student_test;

   Select * from student_test;

   

   (查询id)select id from student_test;

   (查询structs内部数据，通过点的方式)

   select id,info.name from student_test;

   

   Select id,info.name,info.age from student_test;

   

    

   可以直接在MySQL(储存的是元数据)查看创建的表

   

   也可以在hdfs（储存的是表的实际信息）上查看

   dfs -cat /usr/hive/warehouse/student_test/student_test;

   

   

   第一个是表名没有内容，第二个才是表的内容，除了默认格式不一样，指定格式显示就会一样的。

    

   2.4复合类型—Array使用

    

   array中的数据为相同类型，例如，假如array A中元素['a','b','c']，则A[1]的值为'b'

   create table class_test(name string, student_id_list array<INT>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY ':';

    

   vi class_test

   zhangsan,10:25:27:37

   lisim,09:31:42:46

   wangwu,06:12:18

   

    

   (导入表)load data local inpath "class_test" into table class_test;

   select * from class_test;

   

   (查询名字)select name from class_test;

   

   (集合类型的角标查询)select name,student_id_list[0] from class_test;

   

   select name,lstudent_id_list[0] from class_test where name='zhangsan';

   

   角标超出范围会显示NULL

   

   按照列解析的

   

    

    

   2.5复合类型—Map使用

    

   访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个group-》gid的kv对，gid的值可以通过M['group']来获取

   create table employee(id string, perf map<string, int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':';

    

   （字段之间使用的是\t(Tab键),集合（多个map就会是集合）之间的用，号，map之间用：分割）

   

   vi employee（在~目录下面）

   1001    job:80,team:60,person:70

   1002    job:60,team:80,person:80

   1003    job:90,team:70,person:100

    

   Load data local inpath "employee" into table employee;（备注;使用双引号和单引号也是可以的。）

   

   (查询)Select *from employee;

   Select id,perf['job'] from employee;

   

   Select id,perf['job'],perf['person'] from employee;

   

   (设置别名，显示表头)select id,perf['job'] as job,perf['team'] as team,perf['person'] as person from employee;

   

   三、数据定义

   3.1数据库定义

    

   默认数据库"default"

   使用#hive命令后，不使用hive>use <数据库名>，系统默认的数据库。可以显式使用hive> use default;

    

   创建一个新库

   hive>CREATE DATABASE

   [IF NOT EXISTS] mydb

   [LOCATION] '/.......'

   [COMMENT] '....';

    

   hive>SHOW DATABASES;

    

   hive>DESCRIBE DATABASE [extended] mydb;

    

   hive>DROP DATABASE [IF EXISTS] mydb [CASCADE];

    

   Create database mydb；

   在hdfs创建mydb.db目录会存放mydb数据里面的内容

   消除不必要的提示（干扰我们的判断）

   

   Create database if not exists mydb；

   

   Use mydb；

   Create table t1(name string);

   Show tables;

   

   

   Create database bd;

   Show databases;

   Drop database if exists db;

   

   (级联删除）

   drop database if exists mydb cascade;

   

    

   3.2 表定义

   hive>CREATE TABLE IF NOT EXISTS t1(...)

   [COMMENT '....']

   [LOCATION '...']

    

   (当前数据库显示其他数据库的表)hive>SHOW TABLES in mydb;

    

   hive>CREATE TABLE t2 LIKE t1;

    

   hive>DESCRIBE t2;

   

   (寻找某个关键字的表)show tables in default 'class*';

   

   (显示表的结构)desc t1;

   （显示表的结构，原来的）describe t1;

   

   (显示拓展信息)desc extended t1;

   (显示拓展信息更加有结构，查看分隔符)desc formatted t1;

   

   

    

   （创建另一个表进行测试，防止操作不当对原表造成伤害）create table t2 like t1;

   

   (复制其他数据库的表的结构)Create table t3 like default.employee;