zoukankan      html  css  js  c++  java
  • Hive篇--搭建Hive集群

    一.前述

    Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。

    二.具体实现

    a)内嵌Derby方式

    使用derby存储方式时,运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。

    b)本地模式

    这种存储方式需要在本地运行一个mysql服务器,并作如下配置(下面两种使用mysql的方式,需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下)。

    并作如下配置:

    <?xml version="1.0"?>  
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
      
    <configuration>  
    <property>  
      <name>hive.metastore.warehouse.dir</name>  
      <value>/user/hive_remote/warehouse</value>  
    </property>  
       
    <property>  
      <name>hive.metastore.local</name>  
      <value>true</value>  
    </property>  
       
    <property>  
      <name>javax.jdo.option.ConnectionURL</name>  
      <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>  
    </property>  
       
    <property>  
      <name>javax.jdo.option.ConnectionDriverName</name>  
      <value>com.mysql.jdbc.Driver</value>  
    </property>  
       
    <property>  
      <name>javax.jdo.option.ConnectionUserName</name>  
      <value>hive</value>  
    </property>  
       
    <property>  
      <name>javax.jdo.option.ConnectionPassword</name>  
      <value>password</value>  
    </property>  
    </configuration>  

     

    c)多用户模式

       1.Remote一体:

    这种存储方式需要在远端服务器运行一个mysql服务器,并且需要在Hive服务器启动meta服务。

    这里用mysql的测试服务器,ip位192.168.1.214,新建hive_remote数据库,字符集位latine1

    <?xml version="1.0"?>  
    
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
    
    <configuration>  
    <property>  
      <name>hive.metastore.warehouse.dir</name>  
      <value>/user/hive/warehouse</value>  
    </property>  
    <property>  
      <name>javax.jdo.option.ConnectionURL</name>  
      <value>jdbc:mysql://192.168.57.6:3306/hive?createDatabaseIfNotExist=true</value>  
    </property>  
    <property>  
      <name>javax.jdo.option.ConnectionDriverName</name>  
      <value>com.mysql.jdbc.Driver</value>  
    </property>    
    <property>  
      <name>javax.jdo.option.ConnectionUserName</name>  
      <value>hive</value>  
    </property>  
    <property>  
      <name>javax.jdo.option.ConnectionPassword</name>  
      <value>password</value>  
    </property>  
    <property>  
      <name>hive.metastore.local</name>  
      <value>false</value>  
    </property> 
    <property>  
      <name>hive.metastore.uris</name>  
      <value>thrift://192.168.1.188:9083</value>  
    </property>  
    </configuration>  

    注:这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开。

       2.Remote分开:将hive-site.xml配置文件拆为如下两部分

               服务端配置文件(因为服务端需要和Mysql通信,所以服务端需要Mysql的lib安装包到Hive_Home/conf目录下)

    <?xml version="1.0"?>  
    
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
    
    <configuration>  
    
    <property>  
    
      <name>hive.metastore.warehouse.dir</name>  
    
      <value>/user/hive/warehouse</value>  
    
    </property>  
    
    <property>  
    
      <name>javax.jdo.option.ConnectionURL</name>  
    
      <value>jdbc:mysql://192.168.57.6:3306/hive?createDatabaseIfNotExist=true</value>  
    
    </property>  
    
    <property>  
    
      <name>javax.jdo.option.ConnectionDriverName</name>  
    
      <value>com.mysql.jdbc.Driver</value>  
    
    </property>  
    
    <property>  
    
      <name>javax.jdo.option.ConnectionUserName</name>  
    
      <value>root</value>  
    
    </property>  
    
    <property>  
    
      <name>javax.jdo.option.ConnectionPassword</name>  
    
      <value>123456</value>  
    
    </property>  
    
    </configuration>  

      客户端配置文件(由于客户端需要和Hadoop通信,所以需要更改Hadoop中jline的版本。从hive的lib包中拷贝到Hadoop中lib位置为/opt/soft/hadoop-2.6.5/share/hadoop/yarn/lib)  留一个高版本的jline jar包!!

    <?xml version="1.0"?>  
    
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
    <configuration> 
    
    <property>  
    
      <name>hive.metastore.warehouse.dir</name>  
    
      <value>/user/hive/warehouse</value>  
    
    </property>  
    
    
    <property>  
    
      <name>hive.metastore.local</name>  
    
      <value>false</value>  
    
    </property>  
    
     
    <property>  
    
      <name>hive.metastore.uris</name>  
    
      <value>thrift://192.168.57.5:9083</value>  
    
    </property>  
      
    </configuration> 
     

    启动hive服务端程序 

    hive --service metastore 2>&1 >> /dev/null &

    客户端直接使用hive命令即可!!!

    PS:客户端启动的时候要注意:

    [ERROR] Terminal initialization failed; falling back to unsupported

    java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

    at jline.TerminalFactory.create(TerminalFactory.java:101)

    错误的原因: Hadoop jline版本和hive的jline不一致!!!

     

  • 相关阅读:
    利用树莓派把普通打印机变成网络打印机方法
    Python之datetime库
    CentOS7从默认/home中转移空间到根分区/
    更改Azure虚拟机账号密码
    创建一个托管磁盘的Windows定制镜像
    IO多路复用详解
    玩转redis
    EF Linq to Sql 多表left join查询并对结果group by分组之后进行count,max等处理
    免费,主流的在线办公/协作,会议,文档,调查,分享工具推荐(持续维护中)
    多sql查询count合并为一行
  • 原文地址:https://www.cnblogs.com/LHWorldBlog/p/8289702.html
Copyright © 2011-2022 走看看