zoukankan      html  css  js  c++  java
  • Hive安装与配置——2.3.5版本

    Hive安装配置

    Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,使查询和分析方便。

    下载源文件

    已安装的hadoop版本:2.7.3, Hadoop安装见随笔 CentOS7上安装伪分布式Hadoop

    Hive下载地址:http://mirror.bit.edu.cn/apache/hive/hive-2.3.5/

    Hive版本:2.3.5

    解压安装

    1.使用MobaXterm软件SSH连接到CentOS7环境,将下载好的Hive源文件发送到OS中,OS中的目标路径为:/usr/soft/

    2.使用解压命令,解压hive包

    tar -zxvf /usr/soft/apache-hive-2.3.5-bin.tar.gz
    

    3.下载mysql-connector-java-5.1.38.jar包,然后发送到OS中的hive的lib目录下

    jar包下载地址:https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.38

    OS中的目标路径为:/usr/soft/apache-hive-2.3.5-bin/lib/

    更改配置文件

    cd /usr/soft/apache-hive-2.3.5-bin/conf/
    cp hive-default.xml.template hive-site.xml
    vi hive-site.xml
    

    仅保留文件头根元素标签,删除除此以外的所有内容,然后在configuration标签中添加新内容如下:

    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.10.108:3306/hive</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>rw</value>
    </property>
    

    property标签的内容意义如下:

    Config ParamConfig ValueComment
    javax.jdo.option.ConnectionURL jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true metadata is stored in a MySQL server
    javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver MySQL JDBC driver class
    javax.jdo.option.ConnectionUserName <user name> user name for connecting to MySQL server
    javax.jdo.option.ConnectionPassword <password> password for connecting to MySQL server
    datanucleus.schema.autoCreateAll true/false is auto generate setting table

    配置环境变量

    #vi编辑器,按i进入编辑模式,按ESC退出编辑模式,按ALT+SHIFT+Q再输入x,最后回
    #车保存并退出编辑器
    vi /etc/profile
    
    #追加以下内容
    export HIVE_HOME=/usr/soft/apache-hive-2.3.5-bin 
    export PATH=$PATH:$HIVE_HOME/bin
    
    #更新源
    source /etc/profile
    

    启动hadoop

    cd /usr/soft/hadoop/bin
    start-all.sh
    

    启动后输入jsp,确保NodeSeNodeDataManager四大节点成功启动

    初始化Hive

    schematool -dbType mysql -initSchema
    

    启动Hive

    hive
    
  • 相关阅读:
    Redmine:数据库的账号密码配置
    EF:自定义Oracle的映射类型
    WCF:调用超时
    ibator使用心得
    Mantis部署步骤
    Detach之后的POCO如何Attach以及LoadProperty
    快速迭代与原型开发
    .net framework 4.0无法在Win7下安装的解决办法
    MVC和MVP的一些思考
    从类模型转换到数据库表结构的思考
  • 原文地址:https://www.cnblogs.com/whoyoung/p/11004742.html
Copyright © 2011-2022 走看看