Hive安装与使用

　　Hive是用类似sql语句的形式去操作存储在HDFS上文件的一个客户端，功能上是一个数据仓库，需要配合一个关系型数据库使用，hive自带了一个关系型数据库derby，但是官方不推荐使用，这里我们使用Mysql。关系型数据库的作用是将HDFS上的数据结构化，将结构和数据映射对应起来。

　　mysql用于存储映射关系，HDFS用来存储数据

一、安装mysql 

　　略

二、Hive安装

　1) 解压Hive

tar -zxvf apache-hive-1.0.1-bin.tar.gz

　2) 生成hive-site.xml

cp hive-default.xml.template hive-site.xml

　3) 创建指定路径和用户名

　　① 创建指定路径，替换hive-site.xml中system:java.io.tmpdir的值

mkdir /home/whu/hadoop-hive/hive-1.0.1-bin/iotmp

　　　　替换hive-site.xml中system:java.io.tmpdir的值

　　② 在上面文件夹下创建指定用户名文件夹

cd /home/whu/hadoop-hive/hive-1.0.1-bin/iotmp
mkdir whu

　　　　替换hive-site.xml中system:user.name的值

　4) mysql中创建数据库

mysql -u root -p

　　创建指定数据库

create database hive;

　5) 修改hive-site.xml

　　① 修改指定的关系型数据库

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive</value>
</property>

　　② 修改驱动

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>

　　③ 修改连接数据库的用户名

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>    

　　注：因为我的测试环境hive和mysql是装在一台机器，所以没有设置root进行远程登陆，如果mysql和hive不在一台机器，需要配置root或者其他用户进行远程登陆

grant all on *.* to root@'%' identified by 'root';

　　④ 修改连接数据库的密码

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
</property>

　6) 将mysql驱动拷贝到hive的lib目录

cp mysql-connector-java-5.1.34-bin.jar  /home/whu/soft/apache-hive/lib

　　注：如果mysql驱动器版本不对，会导致删除表失败，所以放高版本的mysql驱动器更合适。

　7) 启动Hive

　　先将hive添加到环境变量

export HADOOP_HOME=/home/whu/soft/apache-hive
export PATH=$HADOOP_HOME:bin

　　使环境变量生效

source /etc/profile

　　启动hive

hive

三、Hive简单使用

　　1) 显示数据库

show databases;

　　2) 显示数据表

use database;

show tables;

　　3) 创建数据库

create database basename;

　　4) 删除数据库

drop datbase basename;

　　5) 创建表

create table tablename( colname coltype, ...)
row format delimited
fields terminated by '/001'
stored as textfile;

　　6）删除表

drop table if exists tablename;

　　7) 上传数据

load data local inpath 'path' into table tablename;

　　8) 插入数据

INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;