-
背景
在启动完成hive服务:
hive --service metastore
后启动hive2服务的过程中:
hive --service hiveserver2
时报错:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
-
分析
我的hive-site.xml配置文件:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- jdbc 连接的 URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://pc001:3306/metastore?allowPublicKeyRetrieval=true&useSSL=false</value> </property> <!-- jdbc 连接的 Driver--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- jdbc 连接的 username--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- jdbc 连接的 password --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> <!-- Hive 元数据存储版本的验证 --> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <!--元数据存储授权--> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value> </property> <!-- Hive 默认在 HDFS 的工作目录 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <!-- 指定存储元数据要连接的地址--> <property> <name>hive.metastore.uris</name> <value>thrift://pc001:9083</value> </property> <!-- 指定 hiveserver2 连接的 host --> <property> <name>hive.server2.thrift.bind.host</name> <value>pc001</value> </property> <!-- 指定 hiveserver2 连接的端口号 --> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> </configuration>
按提示显示,没有集成Tez。而Hive默认使用的引擎是MR,其配置文件hive-site.xml中的hive.execution.engine属性值为mr,而不是tez。
该报错是一个WARN,60000ms后会自动重试启动(一般重试后会启动成功),通过查看网络端口:
netstat -nltp
,可以发现自定义的端口是生效的但是将报错日志(/tmp/nuochengz/hive.log)往上面翻,发现:
2021-09-27T02:25:57,354 INFO [main] server.HiveServer2: HS2 interactive HA not enabled. Starting tez sessions..
2021-09-27T02:25:57,354 INFO [main] server.HiveServer2: Starting/Reconnecting tez sessions..可以发现hive.server2.active.passive.ha.enable的默认值为
[1] vim $HIVE_HOME/conf/hive-default.xml.template [2] :/ hive.server2.active.passive.ha.enable
所以可以将其值设置为true
<!-- hiveserver2的高可用参数,开启此参数可以提高hiveserver2的启动速度 --> <property> <name>hive.server2.active.passive.ha.enable</name> <value>true</value> </property>
-
结论
报错解决