zoukankan      html  css  js  c++  java
  • 051 日志案例分析(PV,UV),以及动态分区

    1.实现的流程

      需求分析

        时间:日,时段

        分区表:两级

        PV

        UV

      数据清洗

        2015-08-28 18:19:10

        字段:id,url,guid,tracktime

      数据分析

      导出

    2.新建源数据库

      

    3.新建表

      

    4.加载原始数据

      

    5.查看部分结果

      

    6.建立清洗数据表(方便下面的分区表的建立)

      

      

    7.为清洗表加载数据

      

    8.展示部分清洗过后的数据

      

    9.建立分区表

      

    10.加载数据

      

    11.展示部分结果

      

    二:动态分区表的建立

    12.动态分区的配置修改 

      <property>
        <name>hive.exec.dynamic.partition</name>
        <value>true</value>      ---》》默认是true,不需要再修改
        <description>Whether or not to allow dynamic partitions in DML/DDL.</description>
      </property>

      <property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
      </property>

      

    13.新建分区表

      

    14.加载数据

      

    15.查看部分结果

      

    三:数据分析,实现需求

    16.实现需求

      

    17.把结果存入result中

      

    17.导出数据进入mysql

      1.新建表

      

      2.整体输出结果

      

      3.查看结果(mysql中)

      

      

      

  • 相关阅读:
    嵌入式软件设计第7次实验报告
    自我介绍
    软工 需求分析
    微软小娜app的使用
    嵌入式软件设计第12次实验报告
    嵌入式软件设计第11次实验报告
    嵌入式软件设计第十次
    嵌入式软件设计第九次
    软件工程需求分析
    嵌入式软件设计第8次实验
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6051439.html
Copyright © 2011-2022 走看看