zoukankan      html  css  js  c++  java
  • 12、【Hive】使用JDBC方式访问HIve,启动客户端时报错java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration

    • 背景

      在启动完成hive服务:hive --service metastore

      启动hive2服务的过程中:hive --service hiveserver2

      报错:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration

    • 分析

      我的hive-site.xml配置文件:

      <?xml version="1.0"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
      <configuration>
      <!-- jdbc 连接的 URL -->
          <property>
              <name>javax.jdo.option.ConnectionURL</name>
              <value>jdbc:mysql://pc001:3306/metastore?allowPublicKeyRetrieval=true&amp;useSSL=false</value>
          </property>
      
      <!-- jdbc 连接的 Driver-->
          <property>
              <name>javax.jdo.option.ConnectionDriverName</name>
              <value>com.mysql.jdbc.Driver</value>
          </property>
      
      <!-- jdbc 连接的 username-->
          <property>
              <name>javax.jdo.option.ConnectionUserName</name>
              <value>root</value>
          </property>
      
      <!-- jdbc 连接的 password -->
          <property>
              <name>javax.jdo.option.ConnectionPassword</name>
              <value>root</value>
          </property>
      
      <!-- Hive 元数据存储版本的验证 -->
          <property>
              <name>hive.metastore.schema.verification</name>
              <value>false</value>
          </property>
      
      <!--元数据存储授权-->
          <property>
              <name>hive.metastore.event.db.notification.api.auth</name>
              <value>false</value>
          </property>
      
      <!-- Hive 默认在 HDFS 的工作目录 -->
          <property>
              <name>hive.metastore.warehouse.dir</name>
              <value>/user/hive/warehouse</value>
          </property>
      
      <!-- 指定存储元数据要连接的地址-->
          <property>
              <name>hive.metastore.uris</name>
              <value>thrift://pc001:9083</value>
          </property>
      
      <!-- 指定 hiveserver2 连接的 host -->
          <property>
              <name>hive.server2.thrift.bind.host</name>
              <value>pc001</value>
          </property>
      <!-- 指定 hiveserver2 连接的端口号 -->
          <property>
              <name>hive.server2.thrift.port</name>
              <value>10000</value>
          </property>
      
      </configuration>
      

      按提示显示,没有集成Tez。而Hive默认使用的引擎是MR,其配置文件hive-site.xml中的hive.execution.engine属性值为mr,而不是tez。

      该报错是一个WARN,60000ms后会自动重试启动(一般重试后会启动成功),通过查看网络端口:netstat -nltp,可以发现自定义的端口是生效的

      但是将报错日志(/tmp/nuochengz/hive.log)往上面翻,发现:

      2021-09-27T02:25:57,354 INFO [main] server.HiveServer2: HS2 interactive HA not enabled. Starting tez sessions..
      2021-09-27T02:25:57,354 INFO [main] server.HiveServer2: Starting/Reconnecting tez sessions..

      可以发现hive.server2.active.passive.ha.enable的默认值为

      [1] vim $HIVE_HOME/conf/hive-default.xml.template 
      [2] :/ hive.server2.active.passive.ha.enable
      

      所以可以将其值设置为true

      <!-- hiveserver2的高可用参数,开启此参数可以提高hiveserver2的启动速度 -->
      <property>
          <name>hive.server2.active.passive.ha.enable</name>
          <value>true</value>
      </property>
      
    • 结论

      报错解决

  • 相关阅读:
    机器学习问题之屌丝的女神专属
    【读点paper】irgan
    回老园子
    【Linux】常用命令收集
    【Matlab】基本语法
    【Ubuntu】log
    【Java 学习笔记】 Hadoop学习笔记
    【Algorithm】 字符串算法
    【WordPress】小卡的土豆园开张
    【Log】Self-Check Log
  • 原文地址:https://www.cnblogs.com/nuochengze/p/15343219.html
Copyright © 2011-2022 走看看