zoukankan      html  css  js  c++  java
  • hive的简介

    Hive  Apache的顶级项目  官网: hive.apache.org

    原来是hadoop里的一个子项目,后来脱离出来成为一个顶级项目。

    github.com/apache/hive  这是源码地址,它是开源的,你可以对其进行代码改进,提交给社区,社区采用以后会合并进代码中

    hive是一个构建在hadoop上的数据仓库

    可以理解为

    数据存在HDFS上

    执行通过MR来执行(MR(2.0过时了)spark,Tez)   (hive 可以执行在MR  Spark 和 Tez三个执行引擎之上)

    运行是在yarn上进行

    如果一个框架最终不能落地到SQL上,那么这个框架就有待选择

    总之hive就是使用sql来搞定大数据的数据分析。

    MR在运行中,多个应用程序存在依赖关系,后一个应用程序的输入为前一个的输出。在这种情况下,MapReduce并不是不能做,而是使用后,每个MapReduce作业的输出结果都会写入磁盘,会造成大量的词频IO,导致性能非常低下,此时可以考虑用Spark等迭代计算框架。

    补充:Hive CLI   hive客户端

    MySQL存着元数据,与hive之间存在单点的风险

    单点问题怎么解决

    主备是指同时存在两个MYSQL,当主挂掉以后,备用的顶上。

    hive是一个客户端,不存在集群概念

    hive和关系型数据库有什么关系

    都可以使用SQL来搞定

    速度方面,关系数据库查起来肯定快一些  hive执行sql是通过mr来执行的,速度肯定慢   时效性。注意千万不能再web界面上按一个按钮执行一个mr,让反馈回来,因为无法预知底层数据有多少,若数据了很大,可能要等十几个小时,页面就会卡在那里。

    事务、insert  updata

    schema信息解释

    在学关系型数据库时,有表,数据库,字段,字段名称,数据类型  这些就是schema

    元数据信息 

    描述数据的数据  schema是元数据的内容

  • 相关阅读:
    C++实现数字媒体三维图像渲染
    C++实现数字媒体三维图像变换
    C++实现数字媒体二维图像变换
    C++实现glut绘制点、直线、多边形、圆
    语音识别之梅尔频谱倒数MFCC(Mel Frequency Cepstrum Coefficient)
    Java中的BigDecimal类精度问题
    spring 手册
    bootstrap 参考文档
    springBoot入门文章
    JNDI
  • 原文地址:https://www.cnblogs.com/xuziyu/p/10473461.html
Copyright © 2011-2022 走看看