zoukankan      html  css  js  c++  java
  • Hive的安装与部署(MySQL作为元数据库)

    Hive的安装与部署(MySQL作为元数据)

    (开始之前确保Hadoop环境已经启动,确保Linux下的MySQL已经安装好)

    1. 1.     安装Hive

    (1)下载安装包

    可从apache上下载hive安装包:http://mirror.bit.edu.cn/apache/hive/

    (2)压缩包解压:

     

    (2)移动至指定目录:(这里是移动至/usr/local/下)

     

    1. 2.     为Hive建立相应的MySQL账户,并赋予足够的权限:

    (1)登录mysql:

     

    (2)建立hive用户:

     

    (3)赋予足够权限:

     

    grant 权限1,权限2,...权限n on 数据库名称.表名称 to 用户名@用户地址

    赋予hive用户对所有数据库所有表的所有权限且任何地址都能建立连接“%”,并具有授予权。

    (4)flush privileges刷新MySQL的系统权限相关表:

     

    (5)默认情况下Mysql只允许本地登录,所以需要修改配置文件将地址绑定给注释掉:

     

    修改如下:

     

    (6)重启mysql服务:

     

    重启命令:

    service mysql restart
    1. 3.     建立Hive专用的元数据库

    (1)使用hive用户登录mysql:

     

    (2)创建Hive专用元数据库:

     

    1. 4.     配置环境变量:

     编辑环境变量:

    sudo gedit /etc/profile

    添加如下内容:

     

    让修改立即生效:

    source /etc/profile
    1. 5.     在Hive的conf目录下的文件“hive-site.xml”中增加如下配置

    (1)复制hive-default.xml.template创建hive-site.xml,一个是系统默认的一个是自定义的,hive优先以自定义的为准。

     

    (2) 修改hive-site.xml文件(在这之前,需先将hive-site.xml中原有的东西全部删掉,然后添加下列内容:)

    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>password</value>
    </property>

    “hive?createDatabaseIfNotExist=true”如果hive数据库不存在就自动创建一个数据库

    1. 6.     把MySQL的JDBC驱动包复制到Hive的lib目录下(略,下载地址:https://dev.mysql.com/downloads/connector/j/

    (驱动包名为:mysql-connector-java-5.1.46-bin.jar)

    1. 7.     初始化:

     

    出现如下提示表示初始化成功:

     

    1. 8.     启动hive并测试(确保hadoop集群已经启动)

     

    在Hive中创建表xp:

     

    在mysql中查看:(use hive切换到数据库hive)

     

    显示 hive 数据库中的数据表:

     

    查看 hive 的元数据信息:

     

    到此Hive集成Mysql作为元数据已完成。

  • 相关阅读:
    angularjs+ionic的app端分页和条件
    js中对象的自定义排序
    angularJS入门笔记
    SpringBoot学习历程
    页面渲染流程
    跨域问题
    jquery知识点结合使用
    对bootstrap模态框的小尝试
    登录页面两端对齐的样式问题
    输入两个数字,将比较结果输出到页面
  • 原文地址:https://www.cnblogs.com/thisyan/p/9609497.html
Copyright © 2011-2022 走看看