zoukankan      html  css  js  c++  java
  • Hadoop和Hive的数据处理流程

    需求

    场景:统计每日用户登陆总数

    每分钟的原始日志内容如下:

    http://www.blue.com/uid=xxxxxx&ip=xxxxxx

    假设只有两个字段,uid和ip,其中uid是用户的uid,是用户的唯一标识,ip是用户的登陆ip,每日的记录行数是10亿,要统计出一天用户登陆的总数。

    处理流程

    建表

    那么我们首先要在hive里建表,建表语句如下:

    复制代码
    CREATE TABLE login (
      uid  STRING,
      ip  STRING
    )
    PARTITIONED BY (dt STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS TEXTFILE;
    复制代码

    其实表名是login,字段之间以,隔开,存储是TEXT,其次还以dt这个字段作为分区。

    创建成功之后,会看到hdfs上创建了/user/hive/warehouse/login这个目录。

    格式化原始日志

    将每天的每分钟的原始日志,转换成以下文件格式

    123,17.6.2.6
    112,11.3.6.2
    ………..

    根据文件大小,合并文件,例如合并为24个文件。

    入库

    格式完毕,就可以把数据入库到hive了,假设今天是执行命令

    LOAD DATA  INPATH '/data/login/20120713/*' OVERWRITE INTO TABLE login PARTITION (dt='20120713');

    执行成功会,转换过的文件会上传到hdfs的/user/hive/warehouse/login/dt=20120713这个目录里。

    分析

    在hive执行以下语句

    select count(distinct uid) from login where dt=’ 20120713’;

    使用dt这个分区条件查询,就可以避免hive去查询其他分区的文件,减少IO操作,这个是hive分区很重要的特性,也是以天为单位,作为login表分区的重要意义。

    执行完毕后,就可以在命令里出现结果,一般通过管道执行hive shell命令,读取管道的内容,把结果入库到mysql里就完成了分析了。

     
    分类: hadoop
    标签: hive_应用
     
  • 相关阅读:
    json数据转化格式
    远程安装软件控制台
    杂、记忆点
    布局(杂,细节处理)
    自己修改代码后push推送到zhile
    js中call和apply的区别 / 函数的call、apply以及bind的作用与区别
    一元运算符a++、++a、a--、--a
    javascript基础语法和算术运算符
    不同空格符号的区别
    2020.12.11面试两家
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/2608924.html
Copyright © 2011-2022 走看看