zoukankan      html  css  js  c++  java
  • hive介绍

      hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce、Tez任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

      Hive将元数据存储在数据库(RDBMS)中,比如MySQL、Derby中。Hive有三种模式连接到数据,其方式是:单用户模式,多用户模式和远程服务模式。(也就是内嵌模式、本地模式、远程模式)

      Hive是什么

        1、它是由FaceBook开源,最初用于解决海量结构化的日志数据统计问题,它可以作为ETL工具。

        2、它是构建在Hadoop之上的数据仓库。

        3、数据计算是MapReduce、Tez

        4、数据存储时HDFS

        5、它定义了一种类SQL的查询语言——HQL

        6、它适合离线数据处理

        7、它是将HQL转换为MR、Tez的语言翻译器。

        8、HQL语言:简单易用的类SQL查询语言;编程模型:允许开发者自定义UDF、Trasform、Mapper、Reducer,来更简单地完成复杂MapReduce无法完成的工作

        9、数据格式:处理Hadoop上任意数据格式的数据,或则使用优化的格式存储Hadoop上的数据,RCFile、ORCFile、Parquest

        10、数据服务:HiveServer2,多种API访问Hadoop上的数据,JDBC、ODBC

        11、元数据服务:数据什么样,数据在哪里,Hadoop上的唯一标准

      Hive的常见应用场景

        1、日志分析

        2、统计网站一个时间段内的pv、uv

        3、从不同维度进行数据分析

        4、海量结构化数据离线分析

      Hive的优点/缺点

        1、优点

          1、简单容易上手

          2、它是为超大数据集而设计的计算和扩展能力

          3、提供统一的元数据管理

        2、缺点

          Hive的HQL的表达能力有限

            迭代式算法无法表达,比如PageRank;数据挖掘方面,比如K-means

    如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
    如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
    如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【刘超★ljc】。

    本文版权归作者,禁止转载,否则保留追究法律责任的权利。

  • 相关阅读:
    window linux pycharm 相互协作
    再次校验环境
    转 安装 ubuntu后 软件处理 -感谢博主skykingf csdn
    NSError是向用户传递详细错误信息的不错的选择
    Node.js学习笔记-入门
    UIKit和CSS布局方式的差异
    继承缺陷以及替代方案
    HTML、HTML DOM、Javascript、CSS以及jQuery使用小结
    关于cookies
    一个诡异bug---symbol not found: objc_setProperty_atomic
  • 原文地址:https://www.cnblogs.com/codeOfLife/p/7417699.html
Copyright © 2011-2022 走看看