Hive学习之四 《Hive分区表场景案例应用案例，企业日志加载》 详解

文件的加载，只需要三步就够了，废话不多说，来直接的吧。

一、建表

话不多说，直接开始。

建表，对于日志文件来说，最后有分区，在此案例中，对年月日和小时进行了分区。

建表tracktest_log，分隔符为“ ”部分：

在hive的default库中，建表，建表语句为：

create table tracktest_log (
id                         string ,
url                        string ,
referer                    string ,
keyword                    string ,
type                       string ,
guid                       string ,
pageId                     string ,
moduleId                   string ,
linkId                     string ,
attachedInfo               string ,
sessionId                  string ,
trackerU                   string ,
trackerType                string ,
ip                         string ,
trackerSrc                 string ,
cookie                     string ,
orderCode                  string ,
trackTime                  string ,
endUserId                  string ,
firstLink                  string ,
sessionViewNo              string ,
productId                  string ,
curMerchantId              string ,
provinceId                 string ,
cityId                     string ,
fee                        string ,
edmActivity                string ,
edmEmail                   string ,
edmJobId                   string ,
ieVersion                  string ,
platform                   string ,
internalKeyword            string ,
resultSum                  string ,
currentPage                string ,
linkPosition               string ,
buttonPosition             string)  PARTITIONED BY (ds string,hour string)  
ROW FORMAT DELIMITED FIELDS TERMINATED BY '	';

全表默认字符类型为string，分区为ds和hour。

如下图所示：

desc tracktest_log;查看表结构。

看到分区结构如下图，分区信息为ds和hour。

二、load，加载企业日志文件

　　load语法：　

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]
    INTO TABLE tablename
    [PARTITION (partcol1=val1, partcol2=val2 ...)]

　　Insert方式有两种，一种是append（追加），一种是overwrite（覆盖），其中覆盖应该最广。在此案例中，采用overwrite方式。

　　在虚拟机中，创建一个存放日志的文件。

　　指令如下所示(在opt目录下，创建一个存放日志的date文件夹)：

cd /opt
mkdir /litong
cd /litong
mkdir date

　　上传日志文件，load语句。

LOAD DATA LOCAL INPATH '/opt/litong/data/2015082818' overwrite INTO TABLE tracktest_log PARTITION (ds='2015-08-28',hour='18');
LOAD DATA LOCAL INPATH '/opt/litong/data/2015082819' overwrite INTO TABLE tracktest_log PARTITION (ds='2015-08-28',hour='19');

　　

去检测是否load成功。因为验证的问题特别多，所以只取5行。

 select * from tracktest_log limit 5;

三、Hive的存储

　　1、hadoop查看表，在每个分区下，又有一个子目录，详细看下面两个图。

从图中可以看到，hour=18和hour=19.

　　2、把hive查询的数据落地到HDFS或hive其他表

　　 ①新建一个数据库，并指定存储路径。

create database rptest location  '/user/hive/warehouse/rptest';

　　②在创建的rptest中，新建表visit_daily。

create table visit_daily
(pv bigint,
 uv bigint
)partitioned by(ds string);

　　③查询数据并插入新建的表中

insert overwrite table visit_daily partition (ds='2015-08-28')
select 
  count(url) pv ,
  count(distinct guid) uv
 from default.tracktest_log where ds='2015-08-28';

　　④查询结果，如下图。