zoukankan      html  css  js  c++  java
  • 3.1

    基础概述

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。

    其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

    Hive构建在基于静态批处理的Hadoop之上,由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,Hive并不适合那些需要低延迟的应用,它最适合应用在基于大量不可变数据的批处理作业,例如,网络日志分析。

    Hive的特点是:可伸缩(在Hadoop集群上动态的添加设备)、可扩展、容错、输出格式的松散耦合。

    Hive将元数据存储在关系型数据库(RDBMS)中,比如MySQLDerby中。

     

    需求概述

    在本节中,我们将使用Hive对以下指标进行统计并演示:

    1.需求1:分析每年的信件数量

    2.需求2:分析信件是属于投诉还是属于咨询,及投诉和咨询的数量

    3.需求3:分析对信件进行回答的政府部门5.自定义UDF,区分信件时间的月份

    4.使用UDF

  • 相关阅读:
    web字体
    解决input之间的空隙
    CSS基础:text-overflow:ellipsis溢出文本
    css3控制内容的可选择性
    设置dt height 保证dd在同一行
    extjs Ext.Ajax.request 同步和异步
    jquery 同步和异步请求
    freemarker 基础
    freemarker简单使用示例
    【数据结构】线性表顺序结构的操作---C/C++语言
  • 原文地址:https://www.cnblogs.com/gkl20173667/p/12301045.html
Copyright © 2011-2022 走看看