zoukankan      html  css  js  c++  java
  • 038 关于HIVE的配置

    一:常用版本

    1.版本

      0.13.1 2014年

      1.2.1   2015年

      版本之间的区别:支持SQL不同,向关系型数据库靠拢。

      目前看到的版本是2.3.2了。

    2.官网

      

    二:安装配置hive

    1.检测hadoop

      

    2.解压hive

      

    3.修改环境

      sudo vi /etc/profile

      

    4.source以下

    5.复制hive-env.sh

      

    6.编辑hive-env.sh

      设置hadoop的配置环境,因为hive需要hadoop,不然hive和hadoop没有关联。

      hive的配置文件目录要启动的,因为除了默认的hive加载,自定义的hive文件在conf下,也需要加载。

      

    7.在HDFS上创建文件夹并修改写权限  

      同组可写权限。 

      保存hive的数据,主要放在HDFS上的warehouse文件夹下。

      说明:

      为啥是这个目录。因为hive.metastore.warehouse.dir在默认文件中的位置是这个位置,所以就设置了这个目录。

      

    8.验证hive的安装

      属于启动。

      进入hive的命令行。

      

    二:操作hive

    1.显示有哪些数据库

      有一个default数据库。

      说明:

        假设在这个数据库下创建一个表,这个表就在user/hive/warehouse文件夹下。

      

    2.创建数据库

      

    3.在新建的数据库中新建表

      使用新建的数据库

        use hadoop09;

      这个使用的字符串是string,不是varchar,因为底层是hadoop。

      

    4.加载数据

      首先要书写数据:

      

      加载数据:

      

    5.HDFS里文件的分布

      一开始是数据仓库文件。

      hadoop09是数据库,所以生成的文件名字教hadoop09.db。

      student是一张表。

      里面有一个文件,是数据文件,这个文件也是刚才在本地编辑的文件。

      

      维护都是使用文件夹。

    6.hive查询语句

      

    三:hive的问题

    1.问题的由来

      当开启第二个hive的时候,就会出现问题。

      因为hive的默认数据库使用的是derby,只能启用一个实例,所以不适合企业。

      解决的方案是:使用mysql关系数据库代替derby。

      

    四:配置mysql

    1.卸载已经安装的mysql

      

    2.安装mysql

      

    3.查看mysql的状态

      

    4.开启服务

      

    5.设置开机启动

      

    6.设置密码

      

    7.进入数据库

      

    8.修改连接权限的位置

      

      

      

    9.修改连接权限

       增加一个权限

      

      删除其他的

      

    10.刷新权限,退出,重启服务

      

    以上的mysql已经配置完成

    五.配置hive

    1.生成hive-site.xml

      

    2.配置hive-site.xml、

      官网位置:

      

      修改的配置:

      

    3.在lib下加入驱动

      

    4.启动hive

      

    5.观看效果

      出现了metastore数据库。

      

    六:日志的配置问题

    1.问题的由来

      

    2.在conf中启用

      

    3.修改配置,hive运行的日志配置

      

    七.人性化设置

    1.列名,数据库名

      

    2.效果

      

      

      

      

  • 相关阅读:
    flutter  安装教程
    使用TcpTrace小工具截获Web Service的SOAP报文
    移除TFS服务器关系
    webservice log4net日志写入失败
    php发送邮件功能(PHPMailer-master插件)
    Unity3d:延迟加载ScrollView的内容
    Unity3d:播放物理目录下的MP3文件
    installshield Basic 工程每次安装完提示重启电脑
    网站背景音乐源码
    Unity3d:加载Format是RGB24位的图片失败(加载图片显示问号)
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6024000.html
Copyright © 2011-2022 走看看